昨夜，亞馬遜雲科技釋出大模型工廠，全球上百個頂級模型API自由呼叫

夕小瑤科技說原創

作者 | 賣萌醬

這幾天，雲計算領域的頂流大哥——亞馬遜雲科技，正在大西洋彼岸的美國拉斯維加斯召開雲計算領域的春晚 re:Invent 大會，大招是一個接一個地放。我看的是一愣一愣的。

因為它不止是雲計算，還是一場生成式 AI 的盛宴。

先是前天半夜，亞馬遜總裁兼 CEO Andy Jassy 官宣了亞馬遜自研的 Nova 系列多模態大模型，一口氣兒釋出了共計 8 款（6 款已釋出，2 款即將釋出）大模型，全面涵蓋了文字、視覺、語音等主流模態場景。

列給你們感受一下：

Nova Micro：文生文模型，低延遲低成本
Nova Lite：系列中最低成本快速處理圖片、影片、文字輸入的多模態模型
Nova Pro：效能和成本達到平衡的多模態模型
Nova Premier：系列中最強大的多模態模型，適用於複雜推理任務，模型蒸餾的最佳教師模型
Nova Canvas：圖片生成模型，內建安全控制
Nova Reel：影片生成模型，現已支援生成 6 秒影片，2 分鐘版即將推出
Nova Speech-to-Speech：語音輸入與生成模型（即將釋出）
Nova Any-to-Any：任意模態輸入，任意模態輸出（即將釋出）

模型我們在放在後面聊，因為我想先跟你們安利一個我覺得更牛逼的東西——Amazon Bedrock，你可以理解成這是一個生成式 AI 時代的大模型工廠！

這裡面彙集了眾多全球一流的大模型，提供來自 AI21 Labs、Anthropic、Cohere、Meta、Stability AI 、Mistral AI 和 Amazon 等 AI 公司的高效能基礎模型。

但更牛逼的是，它這次直接超越模型工廠的概念，升級成了一個開放的大模型交易市場。

Amazon Bedrock Marketplace大模型交易市場釋出

昨夜的釋出會上，最讓我印象深刻的就是亞馬遜雲科技人工智慧與資料部門副總裁 Swami Sivasubramanian宣佈的這個 Amazon Bedrock Marketplace 大模型交易市場了。

簡而言之，它就像一個"大模型超市"，彙集了來自各大供應商的 100 多個專業模型，開發者可以在統一的平臺上便捷地發現、測試和使用這些模型。

自從人工智慧行業迎來“寒武紀”物種大爆發後，AI 開發者們一方面興奮狂歡，另一方面也會為接入、維護各家的 API 而頭疼，包括不限於研究 API 介面文件、搭建測試環境、安裝依賴、充值維護財務狀態等。

而 Amazon Bedrock Marketplace 的推出，恰好完美地解決了這個痛點。

最關鍵的是，Amazon Bedrock Marketplace提供了統一的 API 介面，這意味著開發者不需要再為對接不同模型的 API 而煩惱。無論是 Anthropic、AI21、Cohere 還是其他供應商的模型，都可以透過同一套 API 來呼叫，大大簡化了開發流程。

除此之外，Bedrock 還提供了完整的配套服務：

知識庫支援，幫助開發者快速上手
安全護欄，確保模型使用符合規範
代理功能，最佳化模型呼叫效率
統一的安全和隱私保護機制

這種"一站式"的服務模式，讓開發者可以將更多精力投入到業務本身的開發中，而不是在開發細節上耗費時間。對於想要快速驗證和部署 AI 應用的團隊來說，Amazon Bedrock Marketplace 著實很切痛點。

而本次釋出會上，還讓我很驚喜的是——

大火的 AI 影片生成模型 LumaAI、剛釋出不久的 Stable Diffusion 3.5 文生圖模型，以及一個強大的軟體工程 AI “poolside” 也強勢登陸了 Bedrock！

甚至，大會上，把 LumaAI 的 CEO 都請來了。

但這還沒完，Bedrock 這一波還攛了一連串的升級，包括：

模型蒸餾
自動推理檢查
多 Agents 協作
Prompt caching
Prompt routing
知識庫升級：支援 GraphRAG、結構化資料檢索等
安全圍欄 Guardrails
….

這裡重點講前三個 feature。

先講講 Bedrock 上面的模型蒸餾，雖然知識蒸餾的技術是個老技術，但知識蒸餾在大模型時代顯得彌足重要——那些通用能力強的超大模型往往又慢又貴，在真實的業務場景裡常常滿足不了成本和延遲要求。

而在 Bedrock 上，就可以傻瓜式的將大模型蒸餾成一個更快、更具成本效益的模型，經過蒸餾的模型速度最高提升 500%，成本最高降低 75%。如果疊加上平臺上的延遲最佳化推理 Q、Prompt Caching 等技術，還能進一步最佳化推理延遲。

這裡要畫個重點，目前 Bedrock 已同時支援從 Antropic、Meta 和 Amazon 的模型發起蒸餾。

如果說蒸餾是為了“降本增效”，那麼本次釋出會上的 Automated Reasoning checks 這個新功能，則能夠防止因大模型幻覺產生的事實性錯誤，提供糾正建議。

但凡做過大模型落地的小夥伴，一定知道幻覺這個事情是多麼的痛！

你辛辛苦苦建立起來的使用者信任，很可能在模型出幾次幻覺後，使用者就再也不信任它，進而流失掉了。

所以看到這個 feature，我只能說亞馬遜雲科技果然很懂客戶的痛。

而除了蒸餾和 Automated Reasoning checks 功能外，這次還發布了一個叫 Multi-agent collaboration 的有趣 feature。

要說 2024 下半年什麼最火？那當之無愧的是各種各樣的 agent。面臨複雜任務，靠單一大模型的單次處理是完不成的，亞馬遜雲科技這把也蹭了個 agent 熱點，把構建、部署和編排多個 agent，協同處理複雜的多步驟任務的事兒給抽象成了 Bedrock 上面的產品功能。而且透過“點點點”就能直接完成複雜 action 序列的串聯，快速搭建 agent 應用。

Amazon Nova表現同樣不凡

作為雲計算的一哥，亞馬遜雲科技過去在 AI 領域略顯低調，但絲毫沒影響其趕超 Claude、Gemini、GPT 頂流 LLM 的野心。從基準評測的榜單成績來看，和同級別的明星模型相比，本次釋出的 Nova 系列模型表現可以說很驚豔。

比如，

可以處理簡單任務的超高性價比 Micro 模型，與 LLaMa 3.1 8B、Gemini 1.5 Flash-8B 比，表現都不錯，更是以 210 tokens/s 的輸出速度領先。
支援三種模態的低成本模型 Lite 模型，與同級別的 GPT-4o Mini 相比，17/19 項測試中持平或更好；與 Claude 3.5 Haiku 進行比較，10/12 項測試中持平或更好。
效能和成本均衡的 Pro 模型：與 GPT-4o 進行比較，17/20 個基準上相等或更好；與 Gemini 1.5 Pro 進行比較，16/21 項相等或更好；

Nova Micro、Nova Lite、Nova Pro、Nova Premier 這 4 款模型已經上架到亞馬遜的「模型工廠」Amazon Bedrock 裡，現在就能呼叫了。

在最關心的價格上，Micro、Lite 、 Pro 和Premier的價格比 Amazon Bedrock 上各個類別中的最強模型便宜了 75%！

當之無愧的價效比之王！