本文由亞馬遜云科技數(shù)據(jù)和人工智能副總裁 Swami Sivasubramanian 撰寫，原文鏈接：

https://aws.amazon.com/cn/blogs/machine-learning/new-capabilities-make-it-easier-to-use-amazon-bedrock-to-build-and-scale-generative-ai-applications-and-deliver-impact/

亞馬遜一年多前向世界推出了 Amazon Bedrock，提供了一種全新的方式來構(gòu)建生成式 AI 應用程序。借助最廣泛的第一方和第三方基礎模型（FMs）以及用戶友好的功能，Amazon Bedrock 是構(gòu)建和擴展安全的生成式 AI 應用程序的最快捷和最簡單的方式。

現(xiàn)在成千上萬的客戶正在使用 Amazon Bedrock 來構(gòu)建和擴展令人印象深刻的應用程序。他們正在快速、輕松、安全地進行創(chuàng)新，以推進其 AI 戰(zhàn)略。我們通過令人興奮的新功能來增強 Amazon Bedrock，包括更多的模型選擇和功能，使選擇合適的模型、為特定用例定制模型以及保護和擴展生成式 AI 應用程序變得更加容易，從而支持他們的努力。

從金融到旅游和酒店，再到醫(yī)療保健和消費技術，各行各業(yè)的客戶都在取得顯著進展。通過快速將生成式 AI 應用程序投入生產(chǎn)以改善客戶體驗和提高運營效率，他們正在實現(xiàn)真正的商業(yè)價值。以世界上最大的資本市場紐約證券交易所（NYSE）為例，它每天處理數(shù)十億筆交易。NYSE 正在利用 Amazon Bedrock 的 FMs 選擇和尖端 AI 生成功能，應用于多個用例，包括處理數(shù)千頁的法規(guī)，以易于理解的語言提供答案。

全球航空公司聯(lián)合航空公司對其客戶服務系統(tǒng)進行了現(xiàn)代化改造，將傳統(tǒng)的乘客預訂代碼翻譯成普通英語，使客服代理能夠提供快速高效的客戶支持。作為全球領先的信息和分析提供商，LexisNexis 法律與專業(yè)公司在 Lexis+ AI 上開發(fā)了個性化的法律生成式 AI 助手。LexisNexis 的客戶獲得的可信結(jié)果比最接近的競爭產(chǎn)品快兩倍，每周可以節(jié)省多達5小時的法律研究和總結(jié)時間。在線幫助臺軟件 HappyFox 因其安全性和性能而選擇了 Amazon Bedrock，在其客戶支持解決方案中，其 AI 驅(qū)動的自動票務系統(tǒng)的效率提高了40%，客服人員的生產(chǎn)力提高了30%。

在整個亞馬遜，我們也在繼續(xù)創(chuàng)新生成式 AI，為客戶提供更身臨其境、更引人入勝的體驗。就在上周，Amazon Music 宣布了 Maestro。Maestro 是由 Amazon Bedrock 驅(qū)動的 AI 播放列表生成器，為 Amazon Music 訂閱者提供了一種更簡單、更有趣的方式，根據(jù)提示創(chuàng)建播放列表。Maestro 現(xiàn)在正在向美國少數(shù)幾個層級的 Amazon Music 客戶推出測試版。

通過 Amazon Bedrock，我們專注于客戶構(gòu)建生產(chǎn)就緒、企業(yè)級生成式 AI 應用程序所需的關鍵領域，以合適的成本和速度。今天，我很高興分享我們在模型選擇、構(gòu)建生成式 AI 應用程序的工具以及隱私和安全領域宣布的新功能。

◆ Amazon Bedrock 擴展了 Llama 3 模型的選擇，并幫助您找到最適合您需求的模型

在這個早期階段，客戶仍在學習和嘗試不同的模型，以確定將哪些模型用于各種目的。他們希望能夠輕松嘗試最新的模型，并測試哪些功能和特性將為他們的用例提供最佳結(jié)果和成本特征。大多數(shù) Amazon Bedrock 客戶使用不止一個模型，而 Amazon Bedrock 提供了最廣泛的第一方和第三方大型語言模型（LLM）和其他 FM 的選擇。這包括來自 AI21 Labs、Anthropic、Cohere、meta、Mistral AI 和 Stability AI 的模型，以及我們自己的 Amazon Titan 模型。

事實上，湯森路透的 AI 和湯森路透實驗室負責人 Joel Hron 最近談到他們采用 Amazon Bedrock 時說：“隨著新模型的出現(xiàn)，能夠使用各種不同的模型對我們來說是一個關鍵驅(qū)動因素，特別是考慮到這個領域正在快速發(fā)展。”Mistral AI 模型家族的尖端模型，包括 Mistral 7B、Mixtral 8x7B 和 Mistral Large，其在文本生成、摘要、問答和代碼生成方面的高性能讓客戶興奮不已。自從我們引入 Anthropic Claude 3 模型家族以來，成千上萬的客戶已經(jīng)體驗到 Claude 3 Haiku、Sonnet 和 Opus 如何在認知任務中樹立了新的基準，具有無與倫比的智能、速度和成本效率。在使用 Amazon Bedrock 中的 Claude 3 Haiku 和 Opus 進行初步評估后，品牌智能平臺 BlueOcean.ai 將四個獨立的 API 調(diào)用整合為一個更高效的調(diào)用，成本降低了50%以上。

索尼集團公司 DX 平臺集團聯(lián)合治理總經(jīng)理大場正弘分享道：“雖然將生成式 AI 應用于業(yè)務存在許多挑戰(zhàn)，但 Amazon Bedrock 的多樣化功能幫助我們?yōu)樗髂岬臉I(yè)務量身定制生成式 AI 應用。我們不僅能夠利用 Claude 3 強大的 LLM 功能，還能利用幫助我們在企業(yè)級保護應用程序的功能。我真的很自豪能與 Amazon Bedrock 團隊合作，進一步在索尼集團內(nèi)部普及生成式 AI。”

我最近與 Bridgewater Associates（一家優(yōu)秀的資產(chǎn)管理公司）的人工投資助理實驗室首席技術官 Aaron Linsky 坐下來聊天，他們正在使用生成式 AI 來增強他們的“人工投資助理”，這是他們客戶的一大飛躍。它建立在他們?yōu)橥顿Y決策提供基于規(guī)則的專家建議的經(jīng)驗之上。通過 Amazon Bedrock，他們可以使用不同任務的最佳 FM，如 Claude 3，將基本的市場理解與 AI 的靈活推理能力相結(jié)合。Amazon Bedrock 允許無縫的模型實驗，使 Bridgewater 能夠構(gòu)建一個強大的、自我改進的投資系統(tǒng)，將系統(tǒng)化建議與前沿能力相結(jié)合，創(chuàng)造一個不斷發(fā)展的、AI 優(yōu)先的過程。

為了給客戶帶來更多的模型選擇，我們在 Amazon Bedrock 中提供 meta Llama 3 模型。Llama 3 的 Llama 3 8B 和 Llama 3 70B 模型旨在構(gòu)建、實驗和負責任地擴展生成式 AI 應用程序。這些模型與之前的模型架構(gòu)相比有了顯著改進，包括擴大預訓練規(guī)模以及指令微調(diào)方法。Llama 3 8B 在文本摘要、分類、情感分析和翻譯方面表現(xiàn)出色，非常適合資源有限的邊緣設備。Llama 3 70B 在內(nèi)容創(chuàng)作、對話式 AI、語言理解、研發(fā)、企業(yè)、準確摘要、細微分類/情感分析、語言建模、對話系統(tǒng)、代碼生成和指令遵循方面表現(xiàn)出色。閱讀更多關于 meta Llama 3 現(xiàn)已在 Amazon Bedrock 中推出的信息。

我們還宣布即將支持 Cohere 的 Command R 和 Command R+ 企業(yè) FM。這些模型具有高度可擴展性，并針對長上下文任務進行了優(yōu)化，如帶有引文的檢索增強生成（RAG）以減少幻覺、用于自動化復雜業(yè)務任務的多步工具使用，以及支持10種語言以滿足全球業(yè)務需求。Command R+ 是 Cohere 針對長上下文任務優(yōu)化的最強大模型，而 Command R 則針對大規(guī)模生產(chǎn)工作負載進行了優(yōu)化。隨著 Cohere 模型即將在 Amazon Bedrock 中推出，企業(yè)可以構(gòu)建企業(yè)級生成式 AI 應用程序，在概念驗證之外，為日常 AI 操作平衡強大的準確性和效率。

Amazon Titan Image Generator 現(xiàn)已正式發(fā)布，Amazon Titan Text Embeddings V2 即將推出。除了添加最強大的第三方模型外，Amazon Titan Image Generator 今天也正式發(fā)布。借助 Amazon Titan Image Generator，廣告、電子商務、媒體和娛樂等行業(yè)的客戶可以利用自然語言提示，高效地大量生成逼真的工作室級圖像，成本低廉。他們可以使用文本提示編輯生成的圖像或現(xiàn)有圖像，配置圖像尺寸，或指定圖像變體的數(shù)量來指導模型。默認情況下，Amazon Titan Image Generator 生成的每個圖像都包含一個隱形水印，這符合亞馬遜云科技通過減少錯誤信息傳播來促進負責任和道德 AI 的承諾。水印檢測功能可識別 Image Generator 創(chuàng)建的圖像，旨在防篡改，有助于提高 AI 生成內(nèi)容的透明度。水印檢測有助于降低知識產(chǎn)權風險，使內(nèi)容創(chuàng)作者、新聞機構(gòu)、風險分析師、欺詐檢測團隊等能夠更好地識別和減輕誤導性 AI 生成內(nèi)容的傳播。

即將推出的 Amazon Titan Text Embeddings V2 可以高效地為搜索等關鍵企業(yè)用例提供更相關的響應。在利用 RAG 豐富響應以獲得更多信息時，高效的嵌入模型對性能至關重要。Embeddings V2 針對 RAG 工作流程進行了優(yōu)化，并與 Amazon Bedrock 的知識庫無縫集成,可高效地提供更豐富、更相關的響應。Embeddings V2 通過提供256、512和1024維的靈活嵌入尺寸，在保留 RAG 用例97%準確性的同時優(yōu)先考慮降低成本，優(yōu)于其他領先模型。此外，靈活的嵌入尺寸可滿足從低延遲移動部署到高精度異步工作流的多樣化應用需求。

新的模型評估簡化了訪問、比較和選擇 LLM 和 FM 的過程。選擇適當?shù)哪Ｐ褪菢?gòu)建任何生成式 AI 應用程序的關鍵第一步。LLM 的性能可能因任務、領域、數(shù)據(jù)模態(tài)和其他因素而有很大差異。例如，生物醫(yī)學模型在特定醫(yī)療環(huán)境中可能優(yōu)于一般醫(yī)療保健模型，而編碼模型在自然語言處理任務中可能面臨挑戰(zhàn)。使用過于強大的模型可能導致資源使用效率低下，而性能不足的模型可能無法滿足最低性能標準，可能提供錯誤的結(jié)果。在項目開始時選擇不合適的 FM 可能會削弱利益相關者的信心和信任。

由于有如此多的模型可供選擇，我們希望讓客戶更容易為他們的用例選擇合適的模型。

現(xiàn)已正式發(fā)布的 Amazon Bedrock 的模型評估工具通過對特定數(shù)據(jù)集和評估指標進行基準測試和比較來簡化選擇過程，確保開發(fā)人員選擇最符合其項目目標的模型。這種引導式體驗允許開發(fā)人員根據(jù)每個用例量身定制的標準評估模型。通過模型評估，開發(fā)人員可以選擇要評估的候選模型——公共選項、導入的自定義模型或微調(diào)版本。他們定義相關的測試任務、數(shù)據(jù)集和評估指標，如準確性、延遲、成本預測和定性因素。

能夠從 Amazon Bedrock 中的頂級 FM 中進行選擇對Elastic Security非常有益。Elastic 的產(chǎn)品管理總監(jiān) James Spiteri 分享道：“只需點擊幾下，我們就可以同時在多個模型上評估單個提示。這種模型評估功能使我們能夠比較不同模型的輸出、指標和相關成本，讓我們能夠在哪個模型最適合我們要實現(xiàn)的目標方面做出明智的決定。這極大地簡化了我們的流程，為我們將應用程序部署到生產(chǎn)環(huán)境節(jié)省了大量時間?！?

◆ Amazon Bedrock 提供了根據(jù)業(yè)務需求定制生成式 AI 的功能

雖然模型非常重要，但構(gòu)建對組織有用的應用程序不僅僅需要一個模型。這就是為什么 Amazon Bedrock 提供了幫助您輕松將生成式 AI 解決方案量身定制到特定用例的功能?？蛻艨梢允褂米约旱臄?shù)據(jù)通過微調(diào)或使用知識庫進行完全托管的 RAG 體驗來私下定制應用程序，從而提供更相關、更準確和更個性化的響應。Amazon Bedrock 的代理允許開發(fā)人員定義特定的任務、工作流程或決策過程，增強控制和自動化，同時確保與預期用例保持一致。從今天開始，您現(xiàn)在可以將代理與 Anthropic Claude 3 Haiku 和 Sonnet 模型一起使用。我們還引入了更新的亞馬遜云科技控制臺體驗，支持簡化的架構(gòu)和控制返回，使開發(fā)人員易于上手。

借助新的自定義模型導入，客戶可以利用 Amazon Bedrock 的全部功能和自己的模型。所有這些功能對于構(gòu)建生成式 AI 應用程序都是必不可少的，這就是為什么我們希望讓更多的客戶可以使用它們，包括那些已經(jīng)在不同服務上使用自己的數(shù)據(jù)對 LLM 進行了大量微調(diào)或從頭開始訓練自定義模型的客戶。許多客戶在 Amazon SageMaker 上擁有定制的模型，Amazon SageMaker 提供了超過250個預訓練 FM 的最廣泛陣容。這些 FM 包括尖端模型，如 Mistral、Llama2、CodeLlama、Jurassic-2、Jamba、pplx-7B、70B 和令人印象深刻的 Falcon 180B。

Amazon SageMaker 有助于組織數(shù)據(jù)和微調(diào)、構(gòu)建可擴展和高效的訓練基礎設施，然后以低延遲、高成本效益的方式大規(guī)模部署模型。對于準備 AI 數(shù)據(jù)、管理實驗、更快地訓練模型（例如，Perplexity AI 在 Amazon SageMaker 中的訓練速度提高了40%）、降低推理延遲（例如，Workday 使用 Amazon SageMaker 將推理延遲降低了80%）以及提高開發(fā)人員的生產(chǎn)力（例如，NatWest 使用 Amazon SageMaker 將 AI 的價值實現(xiàn)時間從12-18個月縮短到不到7個月）的開發(fā)人員來說，它是一個游戲規(guī)則改變者。然而，以安全的方式運營這些定制模型并將其集成到特定業(yè)務用例的應用程序中仍然存在挑戰(zhàn)。

這就是為什么我們今天推出了 Amazon Bedrock 自定義模型導入，它使組織能夠利用現(xiàn)有的 AI 投資以及 Amazon Bedrock 的功能。通過自定義模型導入，客戶現(xiàn)在可以將他們在 Flan-T5、Llama 和 Mistral 等流行的開放模型架構(gòu)上構(gòu)建的自定義模型作為完全托管的應用程序編程接口（API）導入并訪問 Amazon Bedrock?？蛻艨梢詫⑺麄冊?Amazon SageMaker 或其他工具上定制的模型輕松添加到 Amazon Bedrock 中。經(jīng)過自動驗證后，他們可以像使用 Amazon Bedrock 中的任何其他模型一樣無縫訪問自定義模型。他們獲得所有相同的好處，包括無縫的可擴展性和強大的功能來保護應用程序、遵守負責任的 AI 原則，以及能夠通過 RAG 擴展模型的知識庫、輕松創(chuàng)建代理來完成多步驟任務，并進行微調(diào)以持續(xù)教學和改進模型。所有這些都無需管理底層基礎設施。

有了這個新功能，我們讓組織在保持相同的簡化開發(fā)體驗的同時，可以輕松選擇 Amazon Bedrock 模型和自己的自定義模型的組合。今天，Amazon Bedrock 自定義模型導入已預覽版提供，支持三種最流行的開放模型架構(gòu)，并計劃在未來支持更多。

ASAPP 是一家擁有10年構(gòu)建 ML 模型歷史的生成式 AI 公司。技術總裁 Priya Vijayarajendran表示：“我們的對話式生成 AI 語音和聊天代理利用這些模型重新定義客戶服務體驗。為了給我們的客戶提供端到端的自動化，我們需要 LLM 代理、知識庫和模型選擇的靈活性。通過自定義模型導入，我們將能夠在 Amazon Bedrock 中使用現(xiàn)有的自定義模型。Amazon Bedrock 將允許我們更快地接納客戶、加快創(chuàng)新步伐，并加速新產(chǎn)品功能的上市時間?！?

◆ Amazon Bedrock 提供了一個安全和負責任的基礎，可以輕松實施保障措施

隨著生成式 AI 能力的進步和擴展，建立信任和解決道德問題變得更加重要。Amazon Bedrock 通過利用亞馬遜云科技安全可靠的基礎設施，采用業(yè)界領先的安全措施、強大的數(shù)據(jù)加密和嚴格的訪問控制來解決這些問題。

Amazon Bedrock 的護欄現(xiàn)已正式發(fā)布，可幫助客戶防止有害內(nèi)容并管理應用程序中的敏感信息。護欄提供業(yè)界領先的安全保護，使客戶能夠定義內(nèi)容策略、設置應用程序行為邊界，并實施防范潛在風險的保障措施。Amazon Bedrock 的護欄是主要云提供商提供的唯一解決方案，使客戶能夠在單一解決方案中為其生成式 AI 應用程序構(gòu)建和自定義安全和隱私保護。與 Amazon Bedrock 上 FM 原生提供的保護相比，它可幫助客戶阻止多達85%的有害內(nèi)容。護欄提供全面的有害內(nèi)容過濾支持和強大的個人身份信息（PII）檢測功能。

護欄適用于 Amazon Bedrock 中的所有 LLM 以及微調(diào)模型，在模型如何響應不良和有害內(nèi)容方面保持一致性。您可以配置閾值，在六個類別中過濾內(nèi)容——仇恨、侮辱、性、暴力、不當行為（包括犯罪活動）和提示攻擊（越獄和提示注入）。您還可以定義需要在生成式 AI 應用程序中阻止的一組主題或詞語，包括有害詞語、褻瀆、競爭對手名稱和產(chǎn)品。例如，銀行應用程序可以配置護欄來檢測和阻止與投資建議相關的主題?？偨Y(jié)呼叫中心記錄的聯(lián)絡中心應用程序可以使用 PII 編輯來刪除呼叫摘要中的 PII，或者對話式聊天機器人可以使用內(nèi)容過濾器來阻止有害內(nèi)容。閱讀更多關于 Amazon Bedrock 的護欄的信息。

像 Aha! 這樣，一家?guī)椭^100萬人將產(chǎn)品戰(zhàn)略付諸實踐的軟件公司，使用 Amazon Bedrock 來為他們的許多生成式 AI 功能提供支持。

“我們通過 Amazon Bedrock 的數(shù)據(jù)保護和隱私策略完全控制我們的信息，并且可以通過 Amazon Bedrock 的護欄阻止有害內(nèi)容。我們剛剛在此基礎上構(gòu)建，以幫助產(chǎn)品經(jīng)理通過分析客戶提交的反饋來發(fā)現(xiàn)洞察力。這僅僅是個開始。我們將繼續(xù)在先進的亞馬遜云科技技術基礎上進行構(gòu)建，幫助各地的產(chǎn)品開發(fā)團隊充滿信心地確定下一步要構(gòu)建的重點?！?

借助更多領先 FM 的選擇以及幫助您評估模型和保護應用程序的功能，以及利用您之前在 AI 方面的投資和 Amazon Bedrock 的功能，今天的發(fā)布使客戶構(gòu)建和擴展生成式 AI 應用程序變得更加容易和快速。這篇博文僅重點介紹了新功能的一小部分。您可以在本帖的資源中了解更多關于我們發(fā)布的所有內(nèi)容，包括在知識庫中詢問問題和總結(jié)單個文檔的數(shù)據(jù)，而無需設置向量數(shù)據(jù)庫，以及知識庫支持多個數(shù)據(jù)源的正式發(fā)布。

利用 Amazon Bedrock 功能的早期采用者正在獲得關鍵的先發(fā)優(yōu)勢——提高生產(chǎn)力、推動跨領域的突破性發(fā)現(xiàn)，并提供增強的客戶體驗，培養(yǎng)忠誠度和參與度。我很高興看到我們的客戶接下來將如何利用這些新功能。

正如我的導師 Werner Vogels 經(jīng)常說的“現(xiàn)在就開始構(gòu)建吧”，我要補充一句：“......使用 Amazon Bedrock！”