Vertex AI RAG Engine 是一項託管的編排服務，旨在簡化大語言模型與外部資料來源的連線，它能夠幫助模型保持資料更新，生成更貼合需求的答案，並有效減少幻覺。
根據谷歌的說法，新的 RAG Engine 是使用 Vertex AI 實現基於 RAG 的 LLM 的“理想選擇”，它在 Vertex AI Search 的易用性與基於底層 Vertex AI API（如文字嵌入 API、排名 API 等）構建自定義 RAG 管道的強大功能之間取得了平衡。
Vertex AI RAG Engine 支援的總體工作流包含了從多種不同來源攝取資料的步驟：資料轉換，例如在索引之前將資料拆分為塊；嵌入處理，將文字轉換為數值向量，以捕捉其語義和上下文；資料索引，構建針對搜尋進行了最佳化語料庫；基於使用者提示詞從知識庫中檢索相關資訊；最後是生成內容，將原始使用者查詢與檢索到的資訊結合，生成最終輸出。
使用 Vertex AI RAG Engine，你可以很容易地將所有這些步驟整合到自己的解決方案中。整合 Vertex AI RAG Engine 最簡單的方式是使用它的 Python 繫結 ，這些繫結位於 google-cloud-aiplatform 包中。在設定 Google Cloud 專案並初始化 Vertex AI 引擎後，你可以使用 upload_file 或 import_file 方法快速從本地檔案、Google Cloud Storage 或 Google Drive 中的文件建立語料庫。
# Currently supports Google first-party embedding modelsEMBEDDING_MODEL = "publishers/google/models/text-embedding-004"# @param {type:"string", isTemplate: true}embedding_model_config = rag.EmbeddingModelConfig(publisher_model=EMBEDDING_MODEL)rag_corpus = rag.create_corpus( display_name="my-rag-corpus", embedding_model_config=embedding_model_config)rag_file = rag.upload_file( corpus_name=rag_corpus.name, path="test.txt", display_name="test.txt", description="my test file",)在有了語料庫之後，你就可以建立一個檢索工具，然後將其連線到 LLM，並暴露出端點，你可以使用該端點查詢增強後的模型：
# Create a tool for the RAG Corpusrag_retrieval_tool = Tool.from_retrieval( retrieval=rag.Retrieval( source=rag.VertexRagStore( rag_corpora=[rag_corpus.name], similarity_top_k=10, vector_distance_threshold=0.5, ), ))# Load tool into Gemini modelrag_gemini_model = GenerativeModel("gemini-1.5-flash-001", # your self-deployed endpoint tools=[rag_retrieval_tool],)response = rag_gemini_model.generate_content("What is RAG?")根據谷歌的說法，Vertex AI RAG Engine 特別適合用於個性化投資建議與風險評估、加速藥物發現與個性化治療計劃制定，以及增強盡職調查和合同審查等場景。
檢索增強生成（RAG）是一種用於 “錨定” 大語言模型的技術，即使其更適合特定用例或企業環境。RAG 的核心是從模型訓練時無法訪問的外部資料來源中檢索與特定任務相關的資訊，並將這些資訊與提示詞一起提供給模型。或者也可以透過微調來“錨定”模型，這是一個使用外部資料重新訓練模型的過程，即使在提示詞中未明確指定，模型也能在每次查詢時提供更貼合需求的結果。
錨定模型使其能夠更好地理解查詢的上下文，並提供額外特定於任務的資訊，從而生成更好的答案。更具體地說，在企業資料場景中，錨定旨在透過安全地提供防火牆內的私有資料來克服 LLM 的侷限性。
檢視英文原文：
https://www.infoq.com/news/2025/01/google-vertes-ai-rag-engine/
在 AI 大模型技術如洶湧浪潮席捲軟體開發領域的當下，變革與機遇交織，挑戰與突破共生。2025 年 4 月 10 – 12 日，QCon 全球軟體開發大會將在北京召開，以 “智慧融合，引領未來” 為年度主題，匯聚各領域的技術先行者以及創新實踐者，為行業發展撥雲見日。現在報名可以享受 8 折優惠，單張門票立省 1360 元，詳情可聯絡票務經理 18514549229 諮詢。