AWS正在通過Amazon Bedrock服務(wù)向AI應(yīng)用開發(fā)人員提供更多的大型語言模型，同時(shí)增強(qiáng)該平臺(tái)的優(yōu)化推理工作負(fù)載和為他們提供所需數(shù)據(jù)的能力。

AWS在年度盛會(huì)AWS re:Invent上發(fā)布的最新公告中包括了推出新的Amazon Bedrock Marketplace，這個(gè)主要門戶將讓開發(fā)人員可以訪問100多個(gè)最強(qiáng)大的大型語言模型，其中包括一些只能在那里找到的大型語言模型。

Amazon Bedrock是一項(xiàng)用于構(gòu)建和擴(kuò)展生成式AI應(yīng)用的全托管服務(wù)，目前已經(jīng)提供了一些最知名的大型語言模型訪問權(quán)限，這些模型的提供商包括AI21 Labs、Anthropic PBC、Meta Platforms、Cohere、Stability AI和Mistral AI。

隨著新應(yīng)用市場(chǎng)的推出，客戶將能夠在這里找到新發(fā)布的Amazon Nova模型，這是AWS昨天宣布的新一代基礎(chǔ)模型。據(jù)AWS稱，Nova模型旨在支持廣泛的AI應(yīng)用，具有行業(yè)領(lǐng)先的性價(jià)比。

不過，這些并不是唯一的獨(dú)家產(chǎn)品，因?yàn)锳mazon Bedrock用戶還可以優(yōu)先獲得Luma AI、Poolside和Stability AI的新模型。

更具體地說用戶將可以訪問Luma AI的Ray 2，一種用于生成式AI視頻創(chuàng)作的多模式AI模型，能夠創(chuàng)建一些有史以來最逼真的AI視頻。至于Poolside的新Malibu和Point模型，都是關(guān)于代碼生成的，類似于GitHub的Copilot。Stability AI的Stable Diffusion 3.5 Large是迄今為止業(yè)內(nèi)推出的一流圖像生成模型之一。

總而言之，客戶將能夠通過Amazon Bedrock Marketplace訪問100多個(gè)主流的、新興的和專業(yè)的模型。一旦用戶選擇了他們想要的模型，Amazon Bedrock還將為客戶建議最合適的基礎(chǔ)設(shè)施設(shè)置來訓(xùn)練這些模型并運(yùn)行推理，同時(shí)提供他們可以遵循的簡單步驟來啟動(dòng)和運(yùn)行這些模型。

增強(qiáng)的提示工程

除了比以往更多的模型之外，Amazon Bedrock用戶還可以使用緩存提示和智能提示路由等新技術(shù)，讓開發(fā)人員更輕松地在準(zhǔn)確性、成本和延遲之間取得適當(dāng)?shù)钠胶狻?

新的“緩存提示”功能使客戶能夠通過減少重復(fù)處理來減少響應(yīng)延遲和基礎(chǔ)設(shè)施成本。據(jù)該AWS稱，Bedrock可以安全地緩存用戶輸入的最常見提示來實(shí)現(xiàn)這一點(diǎn)，從而將成本降低高達(dá)90%，延遲降低85%。

例如，一個(gè)用于回答法律問題的生成式AI聊天應(yīng)用，可以更快地響應(yīng)它從用戶那里收到的最常見提示。它會(huì)把響應(yīng)這些請(qǐng)求而引用的數(shù)據(jù)緩存在內(nèi)存中，因此它只處理一次，接下來每次收到類似提示時(shí)都會(huì)重復(fù)使用。AWS表示，這可以顯著降低處理成本。

同時(shí)，新的“智能提示路由”功能旨在優(yōu)化應(yīng)用的成本和響應(yīng)質(zhì)量。開發(fā)人員可以配置Amazon Bedrock以自動(dòng)把提示路由到預(yù)定選擇范圍內(nèi)的不同基礎(chǔ)模型，為每個(gè)請(qǐng)求或問題選擇最合適的模型。AWS解釋說，它會(huì)選擇能夠以最準(zhǔn)確和最低成本提供所需響應(yīng)的模型，從而把總體成本降低高達(dá)30%，但不會(huì)犧牲準(zhǔn)確性。

擴(kuò)展數(shù)據(jù)訪問

此外，AWS正在擴(kuò)展Amazon Bedrock Knowledge Bases的功能，為客戶提供了一種將其模型連接到專有數(shù)據(jù)庫的方法，以便使用檢索增強(qiáng)生成(RAG)提高其準(zhǔn)確性。

AWS表示，Amazon Bedrock Knowledge Bases將增加對(duì)結(jié)構(gòu)化數(shù)據(jù)檢索的支持，使AI模型能夠查詢存儲(chǔ)在傳統(tǒng)結(jié)構(gòu)化查詢語言數(shù)據(jù)庫中的數(shù)據(jù)，這會(huì)大大擴(kuò)展模型的知識(shí)，因?yàn)榇蠖鄶?shù)生成式AI應(yīng)用通常只使用非結(jié)構(gòu)化數(shù)據(jù)，例如文本、圖像、音頻、視頻等。

這還可以利用存儲(chǔ)在多個(gè)數(shù)據(jù)存儲(chǔ)中的結(jié)構(gòu)化數(shù)據(jù)，包括新發(fā)布的SageMaker Lakehouse、Amazon S3數(shù)據(jù)湖、Amazon Redshift等，其工作原理就是把用戶提示轉(zhuǎn)換為SQL查詢以檢索必要的數(shù)據(jù)。

Amazon Bedrock Knowledge Bases的另一項(xiàng)新功能是支持GraphRAG ，這樣就可以創(chuàng)建類似于“知識(shí)圖譜”的東西，可以映射存儲(chǔ)在不同位置的不同數(shù)據(jù)之間的關(guān)系，使這些數(shù)據(jù)更易于檢索。

AWS表示，GraphRAG可以使用Amazon Neptune自動(dòng)生成這些圖表，Amazon Neptune是一個(gè)專門的、完全托管的圖形數(shù)據(jù)庫，無需任何專業(yè)知識(shí)。

目前寶馬集團(tuán)(BMW Group)已經(jīng)這樣做了，正在使用GraphRAG為其My AI Assistant應(yīng)用提供支持，幫助員工和客戶在龐大的、涵蓋了數(shù)百個(gè)數(shù)據(jù)存儲(chǔ)的內(nèi)部數(shù)據(jù)資產(chǎn)中搜索問題答案。

更輕松的數(shù)據(jù)轉(zhuǎn)換

最后，Bedrock將獲得新的“數(shù)據(jù)自動(dòng)化”功能，使非結(jié)構(gòu)化多模式信息可以輕松地轉(zhuǎn)換為結(jié)構(gòu)化數(shù)據(jù)，從而可以更輕松地對(duì)其進(jìn)行分析。

正如AWS所解釋的那樣，絕大多數(shù)企業(yè)數(shù)據(jù)都是非結(jié)構(gòu)化的，包含在文檔、視頻和圖像文件等內(nèi)容中，分析這些信息并不容易，因?yàn)榇蠖鄶?shù)分析工具只適用于結(jié)構(gòu)化數(shù)據(jù)格式。

Amazon Bedrock Data Automation是一項(xiàng)新的功能，允許Bedrock從PDF文件等文檔中快速提取非結(jié)構(gòu)化信息，并將其轉(zhuǎn)換為這些分析工具可以理解的格式。

這項(xiàng)功能應(yīng)該非常有用。例如，大多數(shù)銀行會(huì)把客戶貸款的詳細(xì)信息存儲(chǔ)在PDF文件中，而這些文件很難通過分析獲得洞察。傳統(tǒng)上，轉(zhuǎn)換這些文件一直是個(gè)艱苦的過程，需要手動(dòng)規(guī)范客戶姓名和出生日期等詳細(xì)信息以確保一致性。

AWS表示，現(xiàn)在可以更快速、更有效地完成這項(xiàng)工作?？蛻糁恍柙O(shè)置預(yù)定義的默認(rèn)值，例如基于數(shù)據(jù)模式的輸出或視頻劇照的逐個(gè)場(chǎng)景描述，然后將非結(jié)構(gòu)化文件加載到現(xiàn)有的基于SQL的數(shù)據(jù)庫或數(shù)據(jù)倉庫中，之后就可以輕松分析這些文件了。

此外，得益于與改進(jìn)后的知識(shí)庫集成，Amazon Bedrock數(shù)據(jù)自動(dòng)化還可用于解析RAG應(yīng)用的內(nèi)容，從而提高準(zhǔn)確性和相關(guān)性，每個(gè)響應(yīng)都會(huì)給出一個(gè)置信度分?jǐn)?shù)，有助于降低AI幻覺的風(fēng)險(xiǎn)。

AWS人工智能和數(shù)據(jù)副總裁Swami Sivasubramanian表示，得益于廣泛的模型和功能選擇，Amazon Bedrock正在快速增長。“它正在幫助開發(fā)人員解決當(dāng)前面臨的最大障礙，這樣客戶就可以充分發(fā)揮生成式AI的潛力，”他說。