為生成式AI應用構建提供更多選擇
北京2024年7月24日 /美通社/ -- 亞馬遜云科技宣布，Meta剛剛發布的新一代Llama模型現已在Amazon Bedrock和Amazon SageMaker中提供。客戶也可以在基于Amazon Trainium和Amazon Inferentia自研芯片的Amazon Elastic Cloud Compute（Amazon EC2）實例中部署這些模型。Llama 3.1模型是一系列預訓練和指令微調的大語言模型（LLMs），支持8B、70B和405B三種尺寸，適用于廣泛的使用場景。開發人員、研究人員和企業可以用此模型進行文本摘要和分類、情感分析、語言翻譯和代碼生成。
Meta表示，Llama 3.1 405B是目前最優秀和最大的開源基礎模型（foundation models, FMs）之一，為生成式AI能力設立了新標準。它特別適用于合成數據生成和模型蒸餾，這能在后續訓練中提升較小尺寸Llama模型的性能。Llama 3.1 405B還在通用知識、數學、工具使用和多語言翻譯方面有出色的表現。
得益于大幅增加的訓練數據和規模，所有新的Llama 3.1模型相比之前的版本都有明顯改進。這些模型支持128K的上下文長度，相較于Llama 3增加了12萬個標記（Token），模型容量是上一版本的16倍，并提升了在以下八種語言對話場景中的推理能力，即英語、德語、法語、意大利語、葡萄牙語、印地語、西班牙語和泰語。
Llama 3.1模型還增強對語言細微差別的理解能力，即能更好地理解上下文，并能更有效地處理復雜問題。該模型還可以從長篇文本中獲取更多信息，以做出更明智的決策，并利用更豐富的上下文數據生成更加細致和凝練的回應。
亞馬遜云科技首席執行官Matt Garman表示："我們與Meta保持著長期合作關系，今天很高興能將他們最先進的模型提供給我們的客戶。客戶普遍希望根據他們的具體用例自定義和優化Llama模型，通過在亞馬遜云科技上訪問Llama 3.1，客戶可以利用最新的領先模型來負責任地構建AI應用。"
過去十年間，Meta一直致力于為開發人員提供工具，并促進開發人員、研究人員和企業之間的合作共贏。Llama模型提供各種參數尺寸，允許開發人員選擇最適合其需求和推理預算的模型。亞馬遜云科技上的Llama模型打開了充滿無限可能的新世界，開發人員無需再擔心擴展性或基礎設施管理等問題。亞馬遜云科技提供了一種簡單的開箱即用的方式來使用Llama。
Meta創始人兼首席執行官馬克?扎克伯格表示："開源是讓AI造福所有人的關鍵。我們一直在與亞馬遜云科技合作，將整個Llama 3.1模型集成到Amazon SageMaker JumpStart和Amazon Bedrock中，這樣開發人員就可以全面使用亞馬遜云科技的各種能力來構建出色的應用，例如用于處理復雜任務的高級智能體。"
Llama 3.1模型的優勢
Llama 3.1 405B
Llama 3.1 70B
Llama 3.1 8B
亞馬遜云科技提供對多種大語言模型的輕松訪問
Amazon Bedrock為數萬名客戶提供安全、便捷的模型訪問，提供性能卓越、完全托管的大型語言模型和其他基礎模型選擇，并具有領先的易用性，是客戶開始使用Llama 3.1的便捷途徑，其中8B和70B參數模型已經正式可用，405B版本現提供預覽。
客戶希望訪問Llama 3.1模型并利用亞馬遜云科技的所有安全性和功能，這些通過Amazon Bedrock提供的一個簡單的API即可輕松實現，同時無需管理任何底層基礎設施。客戶還可以使用Llama 3.1提供的負責任AI能力，該功能能夠與Amazon Bedrock的數據治理和評估功能配合使用，例如Guardrails和模型評估。客戶還可以使用Amazon Bedrock即將推出的微調功能來自定義模型。
Amazon SageMaker是數據科學家和機器學習工程師預訓練、評估和微調基礎模型的絕佳平臺，能夠提供先進的技術和精細的控制能力來部署基礎模型，以滿足生成式AI用例在準確性、延遲和成本方面的嚴格要求。今天，通過Amazon SageMaker JumpStart，客戶僅需幾次點擊即可發現和部署所有Llama 3.1模型。隨著即將推出的微調功能，數據科學家和機器學習工程師將能夠更進一步使用Llama 3.1，例如在短短幾小時內將Llama 3.1適配于他們的特定數據集。
亞馬遜云科技首席執行官Matt Garman表示："Amazon Bedrock是使用Llama 3.1進行快速構建的簡單途徑，提供行業領先的隱私和數據治理評估功能和內置保護措施。Amazon SageMaker提供的工具選擇和精細控制，則使各行各業的客戶能夠輕松訓練和調整Llama模型，以推動亞馬遜云科技上的生成式AI創新。"
對于希望通過自管理機器學習工作流的方式在亞馬遜云科技上部署Llama 3.1模型的客戶，Amazon EC2提供廣泛的加速計算選項，以為其提供更大的靈活性和對底層資源的控制。Amazon Trainium 和Amazon Inferentia2能夠為微調和部署Llama 3.1模型提供高性能和成本效益。客戶可以通過使用Amazon EC2 Trn1和Inf2實例在亞馬遜云科技自研AI芯片上開啟使用Llama 3.1的旅程。
客戶已經在亞馬遜云科技上使用Llama模型
全球金融服務集團野村控股（Nomura）的業務覆蓋30個國家和地區。該集團正在使用Amazon Bedrock中的Llama模型簡化海量行業文檔的分析，以提取相關的商業信息，使員工可以將更多時間專注于從日志文件、市場評論或原始文檔等數據源中提取洞見和獲取關鍵信息。
領先的外包數字服務和客戶體驗提供商TaskUs使用Amazon Bedrock中的Llama模型來支持其專屬生成式AI平臺——TaskGPT。TaskUs在該平臺上構建智能工具，自動化部分客戶服務流程，釋放團隊成員處理更復雜的問題，并提供更好的客戶體驗。
