出海應用也能享受高速穩定的DeepSeek-R1？亞馬遜雲科技出手了

機器之心報道

編輯：Panda、澤南

給大模型落地，加入極致的務實主義。

DeepSeek 引領的新一輪 AI 技術爆發才剛開始，激烈的應用側競爭也進入了正在進行時。

由於官方伺服器經常遭遇繁忙、限流等問題，各家雲廠商的 MaaS 服務正在解決開發者們的燃眉之急。自 2 月份以來，各家雲科技大廠紛紛上線滿血版 DeepSeek V3、R1 大模型。它們不僅卷算力，也競相提供更便捷的部署方案（從 API 到應用開發能力），甚至連價格也捲了起來。

3 月 11 日，亞馬遜雲科技宣佈 DeepSeek-R1 正式作為全託管的無伺服器模型提供，成為了第一家以全託管通用模型形式提供 DeepSeek-R1 的國際雲服務提供商。

亞馬遜 CEO 安迪・賈西宣佈 Amazon Bedrock 提供全託管式 DeepSeek-R1 的貼文。

也就是說，無需配置硬體資源，無需設定軟體環境，一個 API 就能直接呼叫滿血版 DeepSeek-R1。

使用 Amazon Bedrock Converse API 呼叫 DeepSeek-R1 模型生成文字的程式碼示例，來自：亞馬遜雲科技新聞部落格

眾所周知，DeepSeek-R1 是引爆這一輪生成式 AI 技術爆發的核心。它將強大的自然語言處理與高階推理能力相結合，效能直接對標 OpenAI o1 而且開源。對於開發者來說，DeepSeek-R1 的高效能和低成本為眾多 AI 應用打開了新方向。

不過對於希望基於大模型構建應用的開發者和企業來說，自己部署 671B 引數量的滿血版 R1 模型的門檻非常高，最好的方法依然是使用 API。不過，DeepSeek 官方的 API 遠不能滿足眾多開發者的需求，也因此，國內外的 AI 或雲服務商都掀起了一股部署並提供 DeepSeek-R1 服務的浪潮。

其中有的提供商採用了提供計算平臺讓客戶自行部署的方式，也有的會提供包括一鍵式部署在內的更進一步的部署服務，而 Amazon Bedrock 為客戶提供多種形式的選擇，包括 1 月 30 日開始在其 Marketplace 和 Custom Model Import 中提供的 DeepSeek-R1 模型支援以及從本月 11 日開始的全託管式 DeepSeek-R1。

當然，這也體現了亞馬遜雲科技提供多種先進模型，面向不同需求的「Choice Matters」理念。

實測驗證：低 TTFT + 高 TPOT

這裡，基於 Playground，機器之心對 Amazon Bedrock 的全託管式 DeepSeek-R1 進行了一番實測。

首先，先測試一個最近常被用於測試推理和程式設計模型的問題：編寫一個演示小球在正十二面體中來回碰撞的 Python 指令碼，並且這個小球的顏色會在每次撞擊時發生變化。

可以明顯注意到，Amazon Bedrock 的全託管式 DeepSeek-R1 的首 Token 時延（TTFT）非常低，這個示例中僅有 0.7 秒 —— 幾乎在我們點下「執行」按鈕之後馬上就開始輸出推理 Token 了。同時我們也能看到輸出速度也非常快。

我們也以同樣的提示詞在 DeepSeek 官網上進行了兩次測試，結果第一次遭遇了長達 13 秒的 TTFT，另一次更是在等待近一分鐘後只收獲了一個「伺服器繁忙，請稍後再試」。

至於結果表現，因為 Amazon Bedrock 的全託管式 DeepSeek-R1 是與官網部署的相同的滿血版，所以結果上並不存在明顯的差異。至少對於這個任務而言，DeepSeek-R1 第一次輸出的結果還需要一些 debugging。

下一個測試，我們使用了前兩天 OpenAI CEO 山姆・奧特曼在 𝕏 上釋出的元小說提示詞：

這一次我們直接把溫度值拉滿，讓 AI 創造起來：

同樣，Amazon Bedrock 上的 DeepSeek-R1 速度非常快！這一次同樣是 0.7 秒左右就給出了首 Token 響應。考慮到 Amazon Bedrock 的伺服器遠在美國，這種速度表現可以說堪稱驚豔了。而根據亞馬遜雲科技自己在美國的測試結果，TTFT 更是可以低至 0.4 秒。

根據 Artifical Analysis 釋出的《DeepSeek-R1：API 提供商基準評測和分析》報告，0.4 秒的 TTFT 足以傲視全球所有提供商。（注：Artifical Analysis 報告中最快的 0.26 秒 TTFT 是 FP4 量化版 DeepSeek-R1）。

圖源：Artifical Analysis

再來看看 Amazon Bedrock 輸出每個 Token 的時間（TPOT），下表彙總了我們多次測試的資料：

平均計算下來，Amazon Bedrock 的全託管式 DeepSeek-R1 的 TPOT 僅有 15.50 ms，也就相當於每秒能輸出約 64.5 個 Token—— 這個速度自然遠超 DeepSeek 官方的 API 服務，在 Artifical Analysis 釋出的測試結果中處於靠前的位置。

圖源：Artifical Analysis

整體體驗下來，我們發現 Amazon Bedrock 的全託管式 DeepSeek-R1 的效能表現基本與官網 DeepSeek-R1 服務一致，但不管是 TPOT 還是 TTFT 都要遠勝後者。至於服務穩定性，想必擁有頂級規模伺服器叢集的亞馬遜雲科技足以應對任何流量壓力。

亞馬遜雲科技是市佔率穩居第一的雲基礎設定服務提供商，圖源：emma.ms

可落地化的 AI 服務，幫你實現「大模型自由」

現在，開發者可以基於 DeepSeek-R1 的強大的能力來構建能編寫程式碼、解決複雜問題的服務，而無需擔心任何複雜的設定或運維。對於目標海外市場的客戶來說，想要在自己的應用裡部署滿血 DeepSeek-R1 能力，亞馬遜雲科技提供的服務已成為首選。

亞馬遜雲科技最近已經陸續在 Amazon Bedrock 上線了 DeepSeek-R1、Claude 3.7 Sonnet 等先進模型，此外如 Mistral Large 2、Stable Diffusion 3.5 Large 等業內第一梯隊大模型，都可以在其平臺上選用，提供者來自 AI21 Labs、Anthropic、Cohere、DeepSeek、Luma AI、Meta、Mistral AI、Stability AI 等知名公司。當然，你也完全可以使用亞馬遜自家的 Titan 和 Nova 系列模型。

目前在 Amazon Bedrock 上，僅以 API 形式可呼叫的大模型型號就有超過 50 個，全部可用大模型數量已超過 100 個。

這些模型具有不同的規模和上下文設定，並且可能針對推理、程式設計、閱讀理解和開放式問答等任務進行了不同的最佳化，也因此具有不同的速度、效能和成本水平，並且其中不僅有文字模型，也有影像和影片模型。

其實，亞馬遜雲科技在構建大模型能力的過程中，一直在強調多模型相互協作的必然性：沒有一個大模型可以一統天下。

這個觀點是真正面嚮應用的考量。一方面，每個 AI 模型都有其特長、侷限性和適用場景，從使用者的角度出發，不同的行業和業務場景對 AI 模型的需求差異很大；另一方面，出於資料隱私、適應性差異以及政策等原因，全球通用的服務也需要在各地部署不同的模型，蘋果的 Apple Intelligence 就是個例子。

若想實踐這一思路，就需要雲服務商進行多方合作，充分整合資源並建立一套高效率、低成本的平臺。透過引入業界最先進的基礎模型，亞馬遜雲科技在其雲服務平臺上第一時間提供具備生產條件、可落地化的 AI 服務。適用於不同場景、體量、價效比。人們可以單獨呼叫，還可以針對複雜場景結合使用不同模型。人們在 AI 能力的部署過程中不必考慮模型遷移、適配等任務的工作。

這一模式打開了格局，為開發者和企業提供了多樣化且方便實用的 AI 落地途徑。Amazon Bedrock 也成為了過去十年以來，亞馬遜雲科技增長最快的雲服務之一。

自有資料 AI Ready，開發也能端到端

我們知道，DeepSeek-R1 釋出及開源以後，AI 領域正在發生翻天覆地的變化，如今基礎 AI 模型能力不再是難以逾越的壁壘，各家公司、各個應用能夠做出差異化的關鍵或許在於發揮自身資料的核心價值。

在「大模型自由」的基礎上，亞馬遜雲科技為 AI 應用開發的全流程提供了一整套開箱即用的完整工具鏈，涉及安全防護、知識庫管理、智慧體、模型評估、提示詞集中管理等各個方面，能讓你利用現有的資料做到 AI Ready。

事實上，自 2023 年釋出完全託管服務 Amazon Bedrock 以來，亞馬遜雲科技一直在推動大模型工作流的整合化。這個過程一直在進行中，隨著技術的進步也越來越快。

首先，在安全防護方面，Amazon Bedrock Guardrails 支援客戶根據自己的用例為任何基礎模型建立和應用防護欄，同時還能為客戶提供額外的保護層，據介紹可以阻止高達 85% 的有害內容。

使用 Amazon Bedrock Guardrails，可以輕鬆地為 DeepSeek-R1 配置內容過濾規則。

不僅如此，為了防止模型因幻覺產生事實性錯誤，Amazon Bedrock 還開創性地利用了自動推理來進行檢查。據我們所知，Amazon Bedrock 不僅是首個，而且依然還是唯一一個使用此方法來構建生成式 AI 防護欄的平臺。效果如何呢？根據用於檢索增強生成（RAG）和彙總使用案例的模型的資料，該方法可成功過濾 75% 以上的幻覺響應。

此外，Amazon Bedrock Knowledge Bases 可以讓企業安全地將自己的內部資料來源用於 RAG，以便為聊天機器人和問答系統等用例提供更準確、針對特定上下文的響應。

Amazon Bedrock 提供非常便捷的知識庫建立入口，並且支援向量資料庫、結構化資料庫、Kendra GenAI Index 等多種形式。

Amazon Bedrock 也早已經為當今大熱的「智慧體」概念做好了準備。Amazon Bedrock Agents 可與企業系統、API 和資料來源無縫連線，協調基礎模型、資料來源、軟體應用和使用者對話之間的互動，使生成式 AI 應用能夠自動執行多步任務。具體來說，Amazon Bedrock Agents 支援的功能包括：

擴充套件基礎模型以理解使用者請求，並將智慧體必須執行的任務分解為更小的步驟。
透過自然對話從使用者那裡收集更多資訊。
透過 API 連線公司系統以採取行動以滿足客戶的請求。
透過查詢資料來源來提高效能和準確度。

在 Amazon Bedrock 上可以便捷配置智慧體，使用者可以選擇是否啟動記憶、知識庫、防護機制和編排策略。

不僅如此，Amazon Bedrock Agents 並不侷限於單一會話的資訊處理，還可以記錄使用者之前的歷史互動資訊並基於此提供更為精準的個性化服務推薦。

針對企業和開發者並不知道哪個模型適合自身業務的情況，Amazon Bedrock 還提供了 Evaluations（評估）能力，其中包括模型評估和 RAG 評估。企業可以快速分析和比較 Amazon Bedrock 上的模型，可讓評估模型的時間從幾個星期縮短到幾個小時，從而可讓客戶更快地推出新的應用並改善使用者體驗。

Amazon Bedrock 即支援自動化評估，也支援人類評估。

此外，Amazon Bedrock 還支援對提示詞進行集中管理。Prompt Management 簡化了提示詞的建立、評估、版本控制和共享，可幫助開發者和提示工程師從基礎模型中獲得針對其使用案例的最佳響應。全新的提示詞快取功能和提示詞智慧路由功能可幫助客戶大規模管理提示詞資訊、降低響應延遲、最佳化響應質量和成本。

Amazon Bedrock 最近新增的提示詞路由可以智慧地在同一系列的模型中路由使用者請求，從而權衡最佳化響應質量和成本。

Amazon Bedrock Flows 也是非常值得嘗試的能力，其可以將提示詞、智慧體、知識庫、防護欄以及其它亞馬遜雲科技服務連線起來，從而建立、測試和部署使用者自己定義的生成式 AI 工作流。

Amazon Bedrock Flows 具有非常直觀的建立介面。

除此之外，Amazon Bedrock 還具有水印檢測、批次推量、預配吞吐量、跨區域推理等諸多能力，可為企業和開發者的應用提供全方位的支援。

去年底，亞馬遜雲科技對其 AI 訓練推理統一平臺 Amazon SageMaker 進行了重大更新，全新的 SageMaker AI 幾乎涵蓋了資料探索、準備和整合、大資料處理、快速 SQL 分析、機器學習（ML）模型開發和訓練以及生成式 AI 應用程式開發所需的所有元件。

其中最引人關注的是 SageMaker Unified Studio。這是一個單一的資料和 AI 開發環境，整合了目前 Amazon Athena、 Amazon EMR、 AWS Glue、 Amazon Redshift、 Amazon Managed Workflows for Apache Airflow（MWAA）和現有 SageMaker Studio 中的一系列獨立元件、查詢編輯器和視覺化工具的功能和工具。

基於這些能力，人們在構建大模型應用時所需要的資料處理能力、AI 模型呼叫等功能全部被整合進了同一個介面。

具體來說，在 SageMaker Unified Studio 上你可以使用整合的 SQL 編輯器可以查詢多個來源的資料，視覺化地提取、轉換和載入 (ETL) 工具可簡化資料整合和轉換工作流；全新的統一 Jupyter 筆記本可以幫助你實現跨不同計算服務和叢集的無縫工作；藉助新的內建資料目錄功能，人們可以查詢、訪問和查詢整個組織的資料和 AI 專案。

SageMaker Unified Studio 包含 SageMaker AI 的功能，為機器學習整個生命週期提供了基礎設施、工具和工作流程。再進一步，你也可以使用新的 Amazon Bedrock IDE 在 Amazon SageMaker Unified Studio 中開發生成式 AI 應用程式。

藉助 Amazon Bedrock IDE，人們只需點幾下滑鼠就可以利用專有資料來源構建聊天智慧體並建立知識庫，從而實現檢索增強生成 (RAG）。藉助內建的模型評估功能，你也可以同時測試和最佳化 AI 應用程式的效能，為生成式 AI 驅動的工作流設計流程，共享應用程式或提示，或將其匯出和部署到其他地方。

亞馬遜雲科技提供的能力可以幫助開發者輕鬆地構建、微調和部署基礎模型，構建生成式 AI 應用，無需直接管理和維護底層基礎設施。以前資料科學、機器學習的所有工作，現在在單一介面上使用一個介面就能夠完成了。

Choice Matters：Amazon Bedrock 能提供最適合你的解決方案

在瞭解 Amazon Bedrock 版 DeepSeek-R1 的過程中，我們反覆聽到的一句話是「Choice Matters」，也就是要為客戶提供充分的自主選擇權。總結起來，這主要體現在以下幾個方面：

豐富的模型選擇：針對不同層級的使用者需求，Amazon Bedrock 可提供不同規模和效能的 AI 模型（比如程式設計等應用需要效能更好的模型，而即時翻譯等任務則還有速度需求）。據瞭解，Amazon Bedrock 已經提供了 50 多種 serverless 版的模型，另外在 Marketplace 也提供了 100 多種模型。
豐富的部署方式選擇：開發者和企業可根據自身的業務需求選擇不同靈活度的部署方案 —— 從使用全託管式模型（模型即服務 / MaaS）到僅使用亞馬遜雲科技的基礎設施搭建自己的業務流程（基礎設施即服務 / IaaS）。
豐富的配套方案選擇：不同的業務有不同的資源、安全需求和技術門檻，亞馬遜雲科技可為客戶搭配最適合的配套方案。
定價與成本最佳化模式選擇：靈活的定價策略和成本控制方案也是客戶選擇的重要考量。Amazon Bedrock 為不同業務場景和負載需求提供了多樣化的計費模式，幫助客戶在保障效能的同時，實現成本最佳化。