本文作者 張俠博士

亞馬遜云科技 首席企業(yè)戰(zhàn)略顧問(wèn)

在生成式 AI 時(shí)代，企業(yè)高管制定總體的企業(yè) AI 戰(zhàn)略藍(lán)圖之后，需要著手對(duì)生成式 AI 的技術(shù)要求進(jìn)行準(zhǔn)備工作。企業(yè)領(lǐng)導(dǎo)和 IT 高管需要回答一系列的問(wèn)題，包括：生成式 AI 有哪些關(guān)鍵要求、如何選擇大模型、如何準(zhǔn)備好數(shù)據(jù)、如何選擇有關(guān)的技術(shù)工具。本文將從采納和使用生成式 AI 技術(shù)構(gòu)建部署企業(yè)應(yīng)用切入，分享幫助企業(yè)通過(guò)生成式 AI 創(chuàng)造差異化競(jìng)爭(zhēng)力和價(jià)值的思考。

生成式 AI 平臺(tái)與應(yīng)用的技術(shù)應(yīng)用堆棧

廣義的機(jī)器學(xué)習(xí)應(yīng)用的技術(shù)架構(gòu)通常包含六層，自下而上是：

1、機(jī)器學(xué)習(xí)基礎(chǔ)設(shè)施；2、數(shù)據(jù)層；3、機(jī)器學(xué)習(xí)框架與模型；4、機(jī)器學(xué)習(xí)工具；5、業(yè)務(wù)邏輯層；6、人工智能應(yīng)用層。

而生成式 AI 的核心技術(shù)通常被概括為三層，自下而上是：

1、機(jī)器學(xué)習(xí)基礎(chǔ)設(shè)施層；2、機(jī)器學(xué)習(xí)框架與工具層；3、利用基礎(chǔ)模型構(gòu)建的生成式 AI 應(yīng)用。

相比于六層模型，在三層技術(shù)棧中，建設(shè)各類 IT 應(yīng)用需要的數(shù)據(jù)和業(yè)務(wù)邏輯被精簡(jiǎn)，機(jī)器學(xué)習(xí)框架、模型與機(jī)器學(xué)習(xí)工具被整合在一層。

企業(yè)建立端到端的生成式 AI 應(yīng)用所需的主要步驟包括：

1、選擇業(yè)務(wù)場(chǎng)景和用例，定義應(yīng)用范圍；2、建立新的或選擇已有的基礎(chǔ)模型；3、對(duì)模型預(yù)訓(xùn)練、精調(diào)調(diào)配；4、部署模型推理，與應(yīng)用進(jìn)行集成；5、對(duì)模型和應(yīng)用的持續(xù)評(píng)估、監(jiān)控和改進(jìn)。

選擇大模型并視需要進(jìn)行模型的適配和調(diào)整

建立基礎(chǔ)模型是一項(xiàng)繁重艱巨的工作，需要很強(qiáng)的技術(shù)資源和資金投入。對(duì)大多數(shù)企業(yè)來(lái)說(shuō)，可以選擇已有的合適的基礎(chǔ)模型，并在此基礎(chǔ)上使用企業(yè)數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練，以得到更適合企業(yè)的大語(yǔ)言模型。選擇了基礎(chǔ)模型之后，企業(yè)可以利用提示詞工程、提取增強(qiáng)生成、模型微調(diào)和持續(xù)模型預(yù)訓(xùn)練等方法，對(duì)模型進(jìn)行進(jìn)一步的適配和調(diào)優(yōu)。

目前商業(yè)和開源大語(yǔ)言模型在快速迭代更新，推動(dòng)著生成式 AI 的高速發(fā)展。明智選擇大模型需要綜合考量諸多因素：1、參數(shù)數(shù)量、訓(xùn)練數(shù)據(jù)集和輸入輸出窗口的大??；2、基準(zhǔn)測(cè)試成績(jī)、準(zhǔn)確度、處理速度等指標(biāo)；3、多模態(tài)、多語(yǔ)言、多功能支持，靈活性和可擴(kuò)展性；4、可調(diào)性、透明度、安全性、可控性和編程能力；5、對(duì)資源的需求，訓(xùn)練、推理、維護(hù)的成本等。

為生成式 AI 的部署準(zhǔn)備好數(shù)據(jù)

數(shù)據(jù)是企業(yè)的核心資產(chǎn)和差異化點(diǎn)。許多人把數(shù)據(jù)看作是企業(yè)的“石油”和“能源”，而我更偏向?qū)?shù)據(jù)看作是企業(yè)“肌體”的“血液”，而數(shù)據(jù)流就是企業(yè)的“血液流”。驅(qū)動(dòng)生成式 AI 發(fā)展的動(dòng)力包含計(jì)算、數(shù)據(jù)、模型和算法等主要方面，而數(shù)據(jù)是決定大模型質(zhì)量的最關(guān)鍵因素。如果把企業(yè)人工智能應(yīng)用看作是一座漂浮在水面的冰山一角，那么用戶可見的企業(yè)智能應(yīng)用就是冰山浮在水面之上的冰面，而數(shù)據(jù)則是隱藏于水面之下的巨大的冰塊主體。

最近 T. Davenport 等人關(guān)于首席數(shù)據(jù)官的調(diào)研證實(shí)93%的 CDO（首席數(shù)字官）贊同數(shù)據(jù)戰(zhàn)略是從生成式 AI 獲取價(jià)值的關(guān)鍵要素，但57%的 CDO 認(rèn)為他們還沒有做好有關(guān)的數(shù)據(jù)戰(zhàn)略準(zhǔn)備。企業(yè)要力爭(zhēng)把數(shù)據(jù)轉(zhuǎn)化為差異化的動(dòng)力，這不僅需要掌握從數(shù)據(jù)確定、采集、清洗、注釋、管控等相關(guān)的技術(shù)，更需要企業(yè)把數(shù)據(jù)當(dāng)作產(chǎn)品，并建立數(shù)據(jù)賦能的企業(yè)文化，對(duì)數(shù)據(jù)進(jìn)行安全、隱私、合規(guī)的全生命周期的管理。當(dāng)企業(yè)數(shù)據(jù)、模型、應(yīng)用三位一體的數(shù)據(jù)飛輪旋轉(zhuǎn)起來(lái)，企業(yè)的生成式 AI 就能源源不斷地為企業(yè)獲取洞察力，創(chuàng)造業(yè)務(wù)價(jià)值。

選擇合適的生成式 AI 服務(wù)工具

企業(yè)借助于生成式 AI 技術(shù)和業(yè)界領(lǐng)先的基礎(chǔ)模型快速創(chuàng)新，離不開選擇和使用生成式 AI 的服務(wù)和工具?？焖龠x擇合適的、通用的、便捷的、安全的 AI 工具是個(gè)不容忽視的關(guān)鍵點(diǎn)。為此亞馬遜云科技推出了一系列生成式 AI 工具和服務(wù)幫助客戶方便、安全、敏捷地構(gòu)建生成式 AI 應(yīng)用。這里為大家簡(jiǎn)要介紹其中一些重要的服務(wù)。

◆ Amazon SageMaker 通過(guò)完全托管的基礎(chǔ)設(shè)施、工具和工作流程為任何用例構(gòu)建、訓(xùn)練和部署機(jī)器學(xué)習(xí)模型；

◆ Amazon Bedrock 通過(guò) API 提供來(lái)自 AI21 Labs、Cohere、meta、Mistral AI、Stability AI 和 Amazon 等領(lǐng)先的高性能基礎(chǔ)模型，提供通過(guò)安全、隱私和負(fù)責(zé)任的 AI 構(gòu)建生成式 AI 應(yīng)用程序所需的各類廣泛功能；

◆ Amazon Q 是一組生成式 AI 助手，可以根據(jù)企業(yè)系統(tǒng)中的數(shù)據(jù)和信息回答問(wèn)題、提供摘要、生成內(nèi)容并安全地完成任務(wù)，以提升員工的創(chuàng)造力、工作效率和生產(chǎn)力。

機(jī)器學(xué)習(xí)的基礎(chǔ)設(shè)施和運(yùn)維管理（MLOps）

云計(jì)算提供全面、安全、高性價(jià)比的機(jī)器學(xué)習(xí)基礎(chǔ)設(shè)施，可滿足您對(duì)于人工智能和機(jī)器學(xué)習(xí)所有訓(xùn)練和推理的數(shù)據(jù)存儲(chǔ)和計(jì)算能力上的需求。識(shí)別和選擇正確的計(jì)算基礎(chǔ)設(shè)施對(duì)于最大化性能、降低成本、減少高能耗以及避免復(fù)雜性至關(guān)重要。亞馬遜云科技在計(jì)算、網(wǎng)絡(luò)和存儲(chǔ)等領(lǐng)域針對(duì)人工智能和機(jī)器學(xué)習(xí)功能進(jìn)行廣泛和深入的構(gòu)建，包括使用合作伙伴的專用芯片并研發(fā)了兩款用于訓(xùn)練和推理的自有芯片 Amazon Trainium 和 Amazon Inferentia。

機(jī)器學(xué)習(xí)運(yùn)維（MLOps）是用于簡(jiǎn)化和自動(dòng)化機(jī)器學(xué)習(xí)工作流程和部署運(yùn)維的文化和實(shí)踐，覆蓋模型和應(yīng)用的開發(fā)、運(yùn)維、管理等全生命周期。MLOps 是業(yè)務(wù)人員、人工智能專家和IT運(yùn)維人員協(xié)作的交互流程和管理方法，覆蓋了從數(shù)據(jù)收集、分析、轉(zhuǎn)換、準(zhǔn)備，到模型訓(xùn)練、開發(fā)、驗(yàn)證、發(fā)布、服務(wù)、監(jiān)控，到應(yīng)用編排、測(cè)試、評(píng)估、診斷、業(yè)務(wù)指標(biāo)管理等機(jī)器學(xué)習(xí)開發(fā)運(yùn)維的各個(gè)關(guān)鍵階段。MLOps 與傳統(tǒng)的 DevOps（軟件開發(fā)人員和 IT 運(yùn)維技術(shù)人員之間的溝通合作）類似，強(qiáng)調(diào)持續(xù)測(cè)試（CT）、集成（CI）、部署（CD），但更具有實(shí)驗(yàn)性和復(fù)雜性、加強(qiáng)了實(shí)驗(yàn)跟蹤、模型管理和對(duì)業(yè)務(wù)目標(biāo)治理等元素。

“智能之旅”是我們這一代信息工作者的使命，為我們提供了巨大機(jī)會(huì)的同時(shí)，也帶來(lái)了艱巨的挑戰(zhàn)。完成這個(gè)任務(wù)要求 IT 專業(yè)人員全面了解人工智能和機(jī)器學(xué)習(xí)的技術(shù)堆棧，了解生成式 AI 發(fā)展的趨勢(shì)，如何選用、調(diào)整、定制大模型，做好數(shù)據(jù)準(zhǔn)備，快速引進(jìn)并及時(shí)掌握所需的生成式 AI 工具，建立機(jī)器學(xué)習(xí)的基礎(chǔ)設(shè)施和機(jī)器學(xué)習(xí)運(yùn)維的流程管理實(shí)踐，成規(guī)模地部署實(shí)施人工智能應(yīng)用，以幫助企業(yè)利用生成式 AI 技術(shù)構(gòu)建可持續(xù)的競(jìng)爭(zhēng)力。