在2024亞馬遜云科技re:Invent全球大會第三天的主題演講中，亞馬遜云科技人工智能與數(shù)據(jù)部門副總裁Dr. Swami Sivasubramanian帶來了亞馬遜云科技生成式AI服務(wù)全面升級的深度解讀，全方位解決企業(yè)構(gòu)建生成式AI應(yīng)用困境。

核心看點(diǎn)

Amazon Bedrock，正在解決今天我們最關(guān)注的大模型落地的效率問題！Amazon SageMaker，正在解決資源利用和數(shù)據(jù)分析等大模型落地的速度問題！Amazon Q，正在解決讓人人都能用好生成式AI的生產(chǎn)工具問題！It is all about 生產(chǎn)力！一個(gè)全新的AI生產(chǎn)力！

?Amazon Bedrock模型服務(wù)全線升級，上百個(gè)頂級大模型供選擇

?新一代Amazon SageMaker，一站式解決生成式AI全生命周期問題

?Amazon Q讓每個(gè)人都快速使用生成式AI工具，提高整體生產(chǎn)力

生成式AI創(chuàng)造價(jià)值的時(shí)代已經(jīng)到來

從萊特兄弟首次飛行到生成式AI，每一個(gè)偉大的成就都站在前人的肩膀上。

生成式AI的誕生凝結(jié)了人工神經(jīng)網(wǎng)絡(luò)、反向傳播算法、無監(jiān)督預(yù)訓(xùn)練、Transformer架構(gòu)等幾十年的人工智能研究成果；同時(shí)，又占盡了大規(guī)模數(shù)據(jù)集和云計(jì)算的得天獨(dú)厚。

亞馬遜云科技自身AI的發(fā)展歷程，也是一樣，每一步走過的創(chuàng)新都算數(shù)。當(dāng)創(chuàng)新累積到一定程度時(shí)，便產(chǎn)生了質(zhì)的飛躍。

Swami博士回顧過去18年亞馬遜云科技的歷程：從可擴(kuò)展的S3存儲，到Amazon DynamoDB數(shù)據(jù)庫和Amazon EMR分析……從Amazon SageMaker推廣機(jī)器學(xué)習(xí)，到數(shù)據(jù)湖……現(xiàn)在，我們正處于另一個(gè)關(guān)鍵的拐點(diǎn)，生成式AI給人類社會帶來的價(jià)值和影響，已無法估量。

Amazon Bedrock

一百多款模型，隨需所用

Amazon Bedrock是一項(xiàng)完全托管的服務(wù)，致力于“最多大模型選擇、滿足客戶所有場景需求”?？蛻魺o需管理任何基礎(chǔ)設(shè)施，完成了構(gòu)建AI應(yīng)用的每一環(huán)節(jié)：最佳模型可選、成本優(yōu)化、速度快低延遲、可定制模型、確保應(yīng)用安全和負(fù)責(zé)任人工智能，以及構(gòu)建和編排Agents。

現(xiàn)在Amazon Bedrock將全面升級，直接解決的就是這些問題：模型選擇的自由度？如何平衡成本、延遲與準(zhǔn)確率性？如何用私有數(shù)據(jù)定制大模型？大模型能確保我應(yīng)用的安全嗎？如何構(gòu)建與編排Agents？五大關(guān)鍵難題。

1、模型選擇，全面升級！

沒有一個(gè)模型能夠解決所有的問題，不同的用例有各自適合的模型。現(xiàn)在，模型選擇再次大幅升級，提供來自全球九家領(lǐng)先人工智能公司的高性能基礎(chǔ)模型。同時(shí)，發(fā)布全新的Amazon Bedrock Marketplace，提供一百多個(gè)模型！

  全新發(fā)布 

Amazon Nova在Bedrock上可用

全新發(fā)布的性價(jià)比王者Amazon Nova系列模型已上線Bedrock！

  全新發(fā)布 

軟件開發(fā)助手獨(dú)角獸poolside

即將上線Bedrock

poolside是一家專注優(yōu)化軟件開發(fā)工作流程的初創(chuàng)公司，能夠出色地完成代碼生成、測試、文檔編寫和其他開發(fā)任務(wù)。亞馬遜云科技將是第一個(gè)提供poolside模型的云服務(wù)商。

  全新發(fā)布 

圖像生成王者Stable Diffusion 3.5

即將上線Amazon Bedrock

Stable Diffusion 3.5是Stability AI目前最強(qiáng)大的圖像生成模型，該模型基于Amazon SageMaker HyperPod訓(xùn)練，即將在Amazon Bedrock上線。

  全新發(fā)布 

視頻生成領(lǐng)域黑馬Luma AI

即將上線Amazon Bedrock

視頻生成界的新星Luma AI，聚焦于3D內(nèi)容生成，其突破性的視頻生成模型即將上線Bedrock，為視頻創(chuàng)作帶來革命性的進(jìn)步。

Luma AI CEO Amit Jain，介紹了全新的視頻生成模型Luma RAY2。Luma RAY2可根據(jù)文本或圖像指令生成高度逼真、制作質(zhì)量一流的長視頻。無論你是營銷人員、設(shè)計(jì)師，還是視頻制作人員，RAY2都將為你帶來前所未有的創(chuàng)作力。

RAY2學(xué)習(xí)了1000倍于普通大模型的數(shù)據(jù)，完美利用了強(qiáng)大的Amazon SageMaker HyperPod，Luma AI僅用4個(gè)月就順利完成RAY2的訓(xùn)練。

  全新發(fā)布 

Amazon Bedrock Marketplace

上百基礎(chǔ)模型一網(wǎng)打盡

Amazon Bedrock Marketplace提供了來自領(lǐng)先供應(yīng)商的100多種通用和行業(yè)模型。用戶可以使用統(tǒng)一API來調(diào)用這些模型，并利用Amazon Bedrock的知識庫、Guardrails、Agents等能力來構(gòu)建應(yīng)用。

2、成本、延遲和準(zhǔn)確率的多項(xiàng)優(yōu)化

開發(fā)人員需要花費(fèi)大量時(shí)間評估模型是否符合他們的需求，尤其是成本和延遲等因素需要非常精細(xì)的平衡。

想象一個(gè)簡單的應(yīng)用場景，一個(gè)旅行規(guī)劃網(wǎng)站，希望選擇最佳模型來解決各種客戶問題。比如說：“為我家人建議12月份的最佳旅游計(jì)劃。”評估每個(gè)模型的響應(yīng)速度、準(zhǔn)確性和成本，最后測試模型A在響應(yīng)速度和成本之間達(dá)到了平衡。然而，換一個(gè)復(fù)雜場景，比如：“為歐洲多個(gè)目的地創(chuàng)建7天的行程，并希望最后一天留在巴黎與一些朋友會面?！睖y試后發(fā)現(xiàn)測試模型B可以面對細(xì)節(jié)把控可以達(dá)到準(zhǔn)確性和速度的平衡，但成本很高。

想象一下我們必須為數(shù)百種不同的場景不斷地重復(fù)這一過程。然后，當(dāng)客戶請求模式發(fā)生變化或新模型可用時(shí)，必須再次重復(fù)。

這一問題將通過Bedrock新功能快速解決。

  全新發(fā)布 

Amazon Bedrock支持提示詞緩存

降低成本，這是一個(gè)非常重大的突破。不降低響應(yīng)速度，還可對多次API調(diào)用中常用提示詞進(jìn)行緩存來顯著降低成本，特定模型效率提升85%和成本降低90%。

  全新發(fā)布 

Amazon Bedrock智能提示詞路由

將提示詞路由，調(diào)用設(shè)定好的最適合模型以獲得最佳性價(jià)比，在無損質(zhì)量、不影響準(zhǔn)確性的情況下，成本降低30%。

3、充分利用私有數(shù)據(jù)

再次回到旅行規(guī)劃網(wǎng)站的場景中，如何能夠?yàn)椴煌蛻籼峁┒ㄖ频姆桨?？這就需要充分利用私有數(shù)據(jù)。Amazon Bedrock知識庫自動(dòng)化了完整的RAG工作流程，囊括了編寫自定義代碼、集成數(shù)據(jù)源和管理查詢。而數(shù)據(jù)源往往多而繁雜，難以檢索到高質(zhì)量的數(shù)據(jù)。

  全新發(fā)布 

Amazon Kendra GenAI index

全新的Amazon Kendra索引為知識庫提供語義準(zhǔn)確性高的托管檢索方案，內(nèi)置超過40種企業(yè)數(shù)據(jù)源，讓跨應(yīng)用程序連接數(shù)據(jù)變得簡單。無論是存儲在數(shù)倉或數(shù)據(jù)湖中的結(jié)構(gòu)化數(shù)據(jù)，還是文檔或PDF等非結(jié)構(gòu)化數(shù)據(jù)，或圖像、視頻、文本相結(jié)合的多模態(tài)數(shù)據(jù)。

想象一下，對于“上個(gè)月華盛頓地區(qū)營業(yè)額最高的品類是什么？”為了處理此類自然語言查詢的請求，需要?jiǎng)?chuàng)建一個(gè)SQL來過濾、連接表、聚合數(shù)據(jù)。

很多人會質(zhì)疑，難道不能只是用提示詞來解決嗎？實(shí)際上，要高效地做到這一點(diǎn)并非那么簡單，需要實(shí)施定制架構(gòu)嵌入、查詢分析、數(shù)據(jù)采樣和查詢糾正循環(huán)等等，同時(shí)解決諸如提示注入攻擊等安全問題。為了管理這些任務(wù)，開發(fā)人員通常會花費(fèi)時(shí)間構(gòu)建復(fù)雜的自定義SQL，以實(shí)現(xiàn)準(zhǔn)確的SQL查詢。今天亞馬遜云科技為客戶解決了這一問題。

  全新發(fā)布 

Amazon Bedrock知識庫

支持結(jié)構(gòu)化數(shù)據(jù)檢索

開箱即用的解決方案，為生成式AI本地查詢各種來源的所有結(jié)構(gòu)化數(shù)據(jù)。

很難用RAG生成響應(yīng)，因?yàn)樾畔⑼ǔ７稚⒃诙鄠€(gè)數(shù)據(jù)源中。例如，讓我們來看一個(gè)顧客向在線零售商咨詢手機(jī)故障的場景。在線助手需要快速獲取多個(gè)信息片段：購買記錄、先前的工單、相關(guān)知識庫中的產(chǎn)品詳細(xì)信息。然后將所有這些不同的數(shù)據(jù)源聯(lián)系起來，以提供量身定制的響應(yīng)來解決此問題。

知識圖譜能夠創(chuàng)建數(shù)據(jù)之間的關(guān)系，捕獲所有的信息。這些關(guān)系被轉(zhuǎn)換為圖嵌入應(yīng)用，系統(tǒng)可以輕松遍歷該圖并檢索這些連接。

開發(fā)人員需花費(fèi)大量時(shí)間將圖集成到RAG流程，但現(xiàn)在，Amazon Bedrock可以讓整個(gè)過程變得更簡單。

  全新發(fā)布 

Amazon Bedrock知識庫

支持GraphRAG

自動(dòng)生成知識圖譜，并連接各種數(shù)據(jù)源之間的關(guān)系。

大多數(shù)企業(yè)數(shù)據(jù)都是非結(jié)構(gòu)化的，在文檔、視頻、圖像和音頻文件等多模態(tài)中。然而非結(jié)構(gòu)化數(shù)據(jù)很難提取，需要進(jìn)行處理和轉(zhuǎn)換才能為生成式AI做好準(zhǔn)備。

  全新發(fā)布 

Amazon Bedrock Data Automation

該功能可自動(dòng)將非結(jié)構(gòu)化的多模態(tài)內(nèi)容轉(zhuǎn)換為結(jié)構(gòu)化數(shù)據(jù)，無需編寫任何代碼。能自動(dòng)提取、轉(zhuǎn)換和處理所有的多模態(tài)內(nèi)容，并實(shí)現(xiàn)大規(guī)模處理。

4、全面護(hù)航應(yīng)用安全

隨著生成式AI落地的場景越來越多，原有的防護(hù)措施就變得很難。Amazon Bedrock Guardrails提供了行業(yè)領(lǐng)先的安全保護(hù)，根據(jù)不同應(yīng)用的要求和負(fù)責(zé)任的人工智能政策制定保障措施，能夠阻止高達(dá)85%的有害內(nèi)容。昨天亞馬遜云科技發(fā)布了自動(dòng)推理檢查功能，以防止因幻覺產(chǎn)生的事實(shí)性錯(cuò)誤?，F(xiàn)在Guardrails增加了多模態(tài)有害內(nèi)容檢測功能。該功能擴(kuò)展了Amazon Bedrock可配置的防護(hù)措施，支持圖像數(shù)據(jù)。

5、多Agents協(xié)作解決復(fù)雜任務(wù)

Agents能夠?qū)?fù)雜任務(wù)分解為可管理的步驟，就像一個(gè)經(jīng)驗(yàn)豐富的專業(yè)人員一樣工作。

全新發(fā)布的多Agents協(xié)作功能，構(gòu)建、部署和編排多個(gè)Agents，協(xié)同處理復(fù)雜的多步驟任務(wù)。

新一代Amazon SageMaker

數(shù)據(jù)、分析與AI的中心

2024年re:Invent大會第二天，發(fā)布了全新一代的Amazon SageMaker。最為重要的是，Swami宣布Amazon SageMaker的定位發(fā)生了重大升級：它是所有數(shù)據(jù)、分析與人工智能的平臺。針對生成式AI時(shí)代客戶面臨的數(shù)據(jù)分析、模型訓(xùn)練、資源成本等關(guān)鍵難題，Amazon SageMaker針對性地推出全新的專業(yè)工具與服務(wù)。

困境一

缺少統(tǒng)一的數(shù)據(jù)處理平臺

Swami博士指出，隨著數(shù)據(jù)分析和機(jī)器學(xué)習(xí)的項(xiàng)目越來越多，客戶希望跨多個(gè)用例利用類似的數(shù)據(jù)集，不想在多個(gè)服務(wù)之間來回切換。

全新發(fā)布

Amazon SageMaker AI

Amazon SageMaker AI是一種全新的統(tǒng)一體驗(yàn)：它將亞馬遜云科技在大數(shù)據(jù)分析、機(jī)器學(xué)習(xí)、模型開發(fā)和生成式AI方面的核心經(jīng)驗(yàn)融合到一個(gè)統(tǒng)一平臺中。為客戶提供了工具和工作流程，從數(shù)據(jù)準(zhǔn)備、參數(shù)調(diào)優(yōu)、訓(xùn)練、部署到可觀測性等，消除了機(jī)器學(xué)習(xí)和分析生命周期中的重復(fù)勞動(dòng)。

困境二

大規(guī)模參數(shù)帶來的模型訓(xùn)練與推理挑戰(zhàn)

現(xiàn)在，在模型訓(xùn)練和推理方面仍有極大挑戰(zhàn)。來看一個(gè)典型的例子，假設(shè)需要使用加速器訓(xùn)練一個(gè)大型語言模型，總共需要30天。這對實(shí)例需求很高，用戶要花費(fèi)大量時(shí)間在云服務(wù)上搜索可用容量。一旦獲得了容量，就必須管理這些資源，保存和恢復(fù)檢查點(diǎn)，并將更多訓(xùn)練數(shù)據(jù)移動(dòng)到獲得容量的區(qū)域。

而這一切，現(xiàn)在可以讓Amazon SageMaker來為您高效處理。

全新發(fā)布

Amazon SageMaker HyperPod

flexible training plans

用戶可以快速創(chuàng)建一個(gè)訓(xùn)練計(jì)劃來自動(dòng)獲取容量，它會設(shè)置集群、創(chuàng)建模型訓(xùn)練作業(yè)，為團(tuán)隊(duì)提供訓(xùn)練模型所需的一切。HyperPod基于區(qū)域的容量塊，根據(jù)項(xiàng)目的時(shí)間和預(yù)算，創(chuàng)建最佳訓(xùn)練計(jì)劃。同時(shí)，自動(dòng)處理任何實(shí)例中斷情況，并在全球動(dòng)態(tài)容量環(huán)境中幫助繼續(xù)訓(xùn)練，無需任何手動(dòng)干預(yù)。

困境三

如何跨團(tuán)隊(duì)、跨項(xiàng)目利用計(jì)算資源

計(jì)算資源有限且昂貴，要最大限度地提高利用率并有效分配資源，非常困難。假設(shè)有數(shù)千臺Trainium2服務(wù)器，白天是峰值，夜間處于閑置狀態(tài)，浪費(fèi)大量資源與資金。

全新發(fā)布

Amazon SageMaker HyperPod

task governance

HyperPod任務(wù)治理通過自動(dòng)化管理AI任務(wù)的優(yōu)先級，最大限度提高計(jì)算資源利用率，降低40%的成本。使用HyperPod任務(wù)治理，用戶可以輕松定義從推理到微調(diào)、訓(xùn)練等各種模型任務(wù)的優(yōu)先級。

困境四

工具切換帶來的時(shí)間損耗

客戶已習(xí)慣使用一些人工智能開發(fā)應(yīng)用，如comet、deepchecks、fiddler和LAKERA等，用于：跟蹤和管理訓(xùn)練實(shí)驗(yàn)、評估模型質(zhì)量、監(jiān)控生產(chǎn)環(huán)境中的模型性能，以及保護(hù)AI系統(tǒng)免受安全威脅。將它們與Amazon SageMaker整合會耗費(fèi)大量時(shí)間。

全新發(fā)布

亞馬遜云科技合作伙伴的人工智能應(yīng)用程序現(xiàn)已在Amazon SageMaker上可用

Amazon SageMaker集成了合作伙伴的應(yīng)用，可加速模型開發(fā)生命周期，無需配置基礎(chǔ)設(shè)施，確保數(shù)據(jù)在Amazon SageMaker上的安全和隱私。

全新的SageMaker AI統(tǒng)一了數(shù)據(jù)、分析和AI工作流，SageMaker HyperPod能夠自動(dòng)化管理訓(xùn)練資源，確保資源利用的最大化，與三方AI開發(fā)工具深度整合。

Amazon Q大幅提升企業(yè)生產(chǎn)力

Amazon Q讓每個(gè)人都快速使用生成式AI，來提高整個(gè)團(tuán)隊(duì)的生產(chǎn)力，從開發(fā)人員、數(shù)據(jù)分析師到業(yè)務(wù)領(lǐng)域的用戶。Amazon Q Developer專門面向開發(fā)者，端到端滿足整個(gè)開發(fā)生命周期的需求。Amazon Q Developer Agents在SWE bench上名列榜首。全球范圍的客戶，如澳大利亞聯(lián)邦銀行、英國電信集團(tuán)、美聯(lián)航都使用Amazon Q Developer加速開發(fā)。

  全新發(fā)布 

Amazon Q Developer在

Amazon SageMaker Canvas上可用

即使從未編寫過一行Python代碼，只需用自然語言陳述業(yè)務(wù)問題，Q Developer就會指導(dǎo)構(gòu)建機(jī)器學(xué)習(xí)模型！

不僅僅是開發(fā)人員的助手，還能提高業(yè)務(wù)用戶的工作效率。Amazon Q Business幫助用戶輕松連接到企業(yè)的數(shù)據(jù)和信息，通過回答問題、提供總結(jié)、生成內(nèi)容來提高員工工作效率。美國國家橄欖球聯(lián)盟NFL基于Amazon Q Business構(gòu)建的系統(tǒng)，將新員工培訓(xùn)時(shí)間縮短了67%，員工可以在10秒內(nèi)獲得問題答案。

Amazon Q in QuickSight通過使用自然語言提示在幾秒鐘內(nèi)構(gòu)建、發(fā)現(xiàn)和共享見解。通過摘要、上下文情境問答問題、交互數(shù)據(jù)，以加速決策。

  全新發(fā)布 

Amazon Q in QuickSight Scenarios

用戶可以用自然語言來解決復(fù)雜的業(yè)務(wù)問題。這一功能可以查找相關(guān)數(shù)據(jù)，進(jìn)行分析，規(guī)劃每一步，并執(zhí)行任務(wù)，在每個(gè)步驟都提供詳細(xì)的見解和建議。比傳統(tǒng)的電子表格分析快10倍。

全力培養(yǎng)生成式AI時(shí)代的人才

Swami博士認(rèn)為只有技術(shù)是不夠的。正如所有員工都需要成長，學(xué)生們也需要在這個(gè)人工智能時(shí)代成長。而獲得優(yōu)質(zhì)學(xué)習(xí)機(jī)會仍然是一大挑戰(zhàn)，據(jù)聯(lián)合國教科文組織統(tǒng)計(jì)，全球有5億學(xué)生無法通過數(shù)字方式學(xué)習(xí)，其中最多的是來自貧窮和農(nóng)村地區(qū)。

Swami博士宣布推出亞馬遜云科技教育公平發(fā)展計(jì)劃。這個(gè)計(jì)劃將賦能各組織為全球?qū)W習(xí)者構(gòu)建和擴(kuò)展數(shù)字化學(xué)習(xí)。亞馬遜云科技提出教育公平倡議，5年內(nèi)投資近1億美金，實(shí)現(xiàn)教育普惠。

Amazon Bedrock，解決今天我們最關(guān)注的大模型落地的效率問題！Amazon SageMaker解決資源利用和數(shù)據(jù)分析等大模型落地的速度問題！Amazon Q解決讓人人都能用好生成式AI的生產(chǎn)工具問題！It is all about生產(chǎn)力！一個(gè)全新的AI生產(chǎn)力！