2014 年，伴隨全球科技公司湧現的“微服務化”浪潮，API 閘道器作為系統拆分的“守門人”（Facade Pattern）應運而生。它從最初簡單的請求路由，逐步發展到處理身份驗證、授權和速率限制等關鍵任務，如今更成為即時資料與 AI 模型互動的核心樞紐。這一演變歷程，映照出傳統技術架構從服務拆分走向大模型時代的深層邏輯。

我們所認知的 AI 和大模型，實際上背後都是由無數的 API 所驅動的。正如當 Kong 公司中國區負責人戴冠蘭在採訪中所說：“No AI without API”。大模型每一次智慧應答、影像生成乃至決策推理，本質上都是無數 API 的精密協作，大模型技術的快速發展將帶來 API 的指數級增長。

在 InfoQ 的專訪中，戴冠蘭回顧了 Kong 閘道器從 2015 年開源專案到如今演變為 API 和 AI 混合閘道器的歷程。現在，透過 Kong AI 閘道器 (AI Gateway)，我們能夠遮蔽不同大語言模型（LLM）提供商之間的差異，為使用者 / 客戶端提供統一的 API 介面。此外，由於所有的請求和響應都經過 Kong AI 閘道器，這使得在其中實現可觀測性、認證授權以及重試等治理能力變得非常便捷。未來，Kong AI 閘道器將持續整合與 AI 相關的核心能力，全面支援包括 MCP 協議、Google A2A 標準在內的新興技術體系。

戴冠蘭，現任 Kong 中國區總裁，併兼任全球閘道器核心研發總監，全面負責 Kong Gateway、服務網格等核心產品的研發戰略與全球技術佈局。在加入 Kong 之前，戴冠蘭曾在 Cloudflare 擔任邊緣計算、Web 應用防火牆（WAF）和內容分發網路（CDN）等關鍵技術的負責人，領導團隊處理每日超過萬億級別的請求，積累了豐富的大規模分散式系統的架構與運營經驗。

他擁有美國東北大學計算機科學碩士學位，具備堅實的技術背景和國際化視野。清華大學五道口金融學院、紀源資本創投研修班 OMEGA 專案的優秀學員。

2021 年主導成立 Kong 亞太區研發中心，從 0 到 1 搭建團隊，覆蓋多條產品線，如 API 閘道器、服務網格等。中國區研發團隊貢獻了超過半數的核心研發成果，顯著提升了 Kong 應對高併發、複雜流量場景的技術能力。推動 Kong 從單一 API 閘道器（Kong Gateway）擴充套件至全生命週期微服務管理平臺，形成“全家桶”式產品生態（如 Kong Mesh、Konnect 雲服務等），支援企業在多雲環境下的高效 API 管理。他在開源商業化、全球化產品戰略、AI 閘道器演進等方面具有深刻見解，致力於將 Kong 打造成全球領先的 API 管理平臺。

戴冠蘭：API 閘道器技術經歷了從支援微服務架構到適應 AI 應用的演進。以下是 Kong 在不同階段的關鍵發展：

1. 微服務時代的起點（2015 年）： 隨著企業從單體架構轉向微服務，Kong 於 2015 年推出了開源 API 閘道器，提供統一的流量入口、身份驗證、限流和監控等功能，幫助企業順利過渡到微服務架構。

2. 服務網格與 Serverless 的融合（2019 年）： 微服務數量的增加帶來了服務間通訊的複雜性。為此，Kong 推出了 Kuma 服務網格，並在企業級產品中整合為 Kong Mesh，增強了服務間的通訊管理和安全性。同時，Kong 還支援 Serverless 架構，適應了無伺服器計算的需求。

3. 雲原生控制平臺的構建（2020 年）： 為了統一管理南北向和東西向流量，Kong 推出了 Kong Konnect 雲原生控制平臺，提供統一的視覺化管理、策略控制和資料洞察，提升了微服務治理的效率。

4. AI 閘道器的引入（2023 年）： 面對生成式 AI 的興起，Kong 於 2023 年推出了 AI 閘道器，支援多種大語言模型（LLMs）的整合，提供無程式碼外掛、語義快取、提示詞防火牆等功能，幫助企業安全、高效地部署 AI 應用。

5. 持續的創新與發展（2024 年）：Kong 在 2024 年釋出了 AI 閘道器 v3.8 版本，進一步增強了智慧語義能力，引入了語義快取、語義路由和語義提示詞防護等功能，提升了 AI 應用的效能、安全性和使用者體驗。

戴冠蘭： 當 API 閘道器用於 AI 驅動的互動場景時，其與傳統微服務架構下的差異體現在計量方式、資料流處理和效能要求等方面：

1. 計量單位的轉變： 在傳統微服務架構中，API 閘道器通常按請求次數進行計費和監控。然而，在 AI 應用中，尤其是涉及大型語言模型（如 OpenAI 的 GPT 系列）的場景中，計費和資源消耗的關鍵指標轉向了“token”（標記）。每個請求的成本和資源使用量取決於輸入和輸出的 token 數量，而非僅僅是請求的次數。這種轉變要求閘道器具備對 token 使用量的精確統計和控制能力，以實現成本管理和資源最佳化。

2. 資料流處理方式的變化：AI 應用，特別是生成式模型的互動，常常採用流式（streaming）響應方式，以提升使用者體驗。這意味著閘道器需要支援即時的資料流處理，能夠在接收到部分響應資料時立即轉發給客戶端，而不是等待完整響應生成後再進行轉發。這種處理方式對閘道器的併發處理能力和資料傳輸效率提出了更高要求。

3. 效能和穩定性的挑戰：AI 模型的推理過程通常計算密集，響應時間可能較長，且對系統資源的消耗較大。閘道器在處理此類請求時，必須具備高併發處理能力和穩定性，以防止因單個請求的延遲或失敗影響整體系統的效能。此外，閘道器還需具備智慧的流量控制和異常檢測機制，以應對可能的請求激增或異常行為。

4. 安全性和合規性的增強需求：AI 應用可能涉及敏感資料的處理和傳輸，閘道器需要提供更強的安全控制措施，如細粒度的訪問控制、資料加密、敏感資訊過濾等。同時，為滿足不同行業的合規要求，閘道器應支援多種認證和審計機制，確保資料處理過程的可追溯性和合規性。

總的來說，AI 驅動的應用對 API 閘道器提出了新的挑戰和要求，涉及計費方式的轉變、資料流處理的複雜性、系統性能的提升以及安全合規性的加強。為應對這些挑戰，API 閘道器需要不斷演進，整合更多智慧化和自動化的功能，以適應 AI 時代的需求。

戴冠蘭： 最為常見的需求是多 LLM provider 代理，當企業計劃將 LLM 應用上線到生產環境時，一定是需要有 backup 的，這時候，很自然的就是當某一個 LLM provider 不可用的時候，能否在不做任何調整的時候，透過 Kong AI 閘道器繼續將請求自動的轉移到其他可用的 LLM provider。

其次就是基於 Token 的 ratelimit，這對於企業 LLM 應用控制成本等方面也是極其重要的。

當然除了這些，還有一些其他的，比如能否進行自動的 RAG，能否在 Kong AI 閘道器的層面進行 cache 以節約成本，以及是否可以透過 Kong AI 閘道器進行一些特定內容資訊的過濾等。

戴冠蘭： 正如前面提到的，透過 Kong AI 閘道器主要完成的是 對於 LLM 請求的治理，這其中不只是包括對多個 LLM provider 的 fallback，也包括認證授權等能力。很多 LLM provider 其實會限制使用者可建立的認證金鑰的數量，而大多數情況下，我們希望可以知道我的 token 到底消耗在了哪裡，是哪個應用發起的，在什麼時間，消耗了多少。

透過 Kong AI 閘道器就很容易做到這些了，將 LLM provider 的認證金鑰進行中心化管理，然後為不同的使用者 / 應用建立各自的獨立的認證金鑰，這樣可以避免金鑰洩露的風險。藉助於 Kong AI 閘道器強大的可觀測能力，還可以瞭解到這些使用者 / 應用的 Token 消耗情況等，這樣就會很方便。

此外，整合 Kong AI 閘道器的另一大優勢就是不需要自己額外開發重複的邏輯，將這些基礎能力都下沉到 Kong AI 閘道器中，開發者只需要專注於自己的業務邏輯即可。

戴冠蘭： 首先是如何保障始終有可用的 LLM provider。Kong AI 閘道器透過實現多種重試和負載均衡策略，在保障可用性的同時，兼顧了企業複雜場景下的多樣化需求，確保始終有可用的 LLM provider 提供服務。

其次，不同的 LLM provider 或者是不同的 LLM 儘管大體遵循統一的 API 介面格式，但也會有一些差異存在，透過使用 Kong AI 閘道器，我們在閘道器側遮蔽了這些差異，使用者可以使用無差別的統一介面進行連線，身份認證，以及透過 Kong AI 閘道器完成可觀測性相關的需求。

戴冠蘭： 既然叫作 AI 閘道器， 最典型的能力自然是連線不同的 LLM provider，其次也包含對金鑰的中心化管理，分發給使用者不同的虛擬金鑰，以便實施不同的控制策略。

這樣的功能，可以避免金鑰的洩露，同時又可以根據企業的不同策略，來進行精準的控制。

還有，比如說基於 Prompt 對內容進行過濾的功能。對於企業而言，避免敏感資料洩露是很關鍵的，當然，另一方面是要避免企業 AI 應用返回“有害資訊”，透過在 AI 閘道器上進行基於 Prompt 的內容過濾，就可以有效的保護資料安全，也可以避免影響企業形象或者避免一些安全合規問題。

戴冠蘭： 由於在整體的鏈路上多了一層，自然會引入一些額外的延遲。

Kong AI 閘道器主要做了兩方面的最佳化：一個是 Kong 本身就在持續的最佳化自身的效能，致力於打造高效能的閘道器；另一方面是 Kong AI 閘道器引入了語義化快取的能力，透過 cache 來提升整體的效能，並降低 token 的消耗。

戴冠蘭： 正如前面所說，這裡的複雜性主要就是  LLM 治理和策略如何實施了。Kong AI 閘道器提供了多種不同的配置策略，同時 Kong AI 閘道器也支援多樣的 plugin 進行擴充套件，這樣就可以靈活的滿足企業多樣化的需求。

戴冠蘭： 提到安全性，首先就是金鑰管理的安全性，Kong AI 閘道器允許進行金鑰的中心化控制，這樣可以使用不同的虛擬金鑰分發給不同的使用者 /client，一次來確保其金鑰的安全性。當然 Kong AI 閘道器也支援多種不同的認證策略，可以使用不同的認證策略來完成認證。

此外就是 Kong AI 閘道器提供的限流策略，無論是基於請求，還是基於 token 的，都可以很好的包括後端實際的 LLM provider，避免因為過量的請求導致 LLM provider 的效能或者安全問題。

戴冠蘭： 對於 Kong AI 閘道器而言，由於我們已經在閘道器領域積累了很多經驗，更多的還是基於原有的經驗提供多種校驗和限制策略。無論是基於使用者身份，請求來源，或者是基於請求等要素，Kong AI 閘道器都有相關的 plugin 可以滿足對應的需求。

同時 Kong AI 閘道器也有基於 token 的限流限速外掛，當然 Kong 也有類似 Bot Detection 之類的 Plugin，我們維護了一套規則集合，同時也允許使用者對該規則進行擴充套件，以此來防範一些爬蟲的大量抓取請求。

當然，網路的攻防本就是此消彼長的一個過程，有時候我們也需要藉助一些其他的手段才能更好的進行攔截，所以 Kong 也有很多合作方，同時 Kong 也有很好的擴充套件能力，這樣就可以更加靈活的來滿足客戶的具體需求了。

戴冠蘭： 是的，Kong AI 閘道器支援動態的限流限速和訪問控制。比如透過使用 Kong AI 閘道器的訪問控制能力，使用者可以為不同的應用分配各自專有的金鑰，並將限流能力附加到這些專有金鑰上，透過 Kong AI 閘道器提供的可觀測能力，企業就可以更好的瞭解到不同的應用對於 LLM token 的消耗情況，當然可觀測性也不僅僅是針對 LLM 而言的，對於一般的 API 請求， Kong 同樣也提供了完備的可觀測能力，讓企業可以對這些 API 的呼叫情況有非常直觀的瞭解，進而進行相對應的控制和處理。

戴冠蘭：Kong AI 閘道器主要透過保護企業免受金鑰洩露，或者超量呼叫等方面來儘可能的避免企業遭受損失。並且透過提供語義化快取和可觀測性來最佳化成本提升效能。

此外，由於透過 Kong AI 閘道器遮蔽了不同 LLM provider 的差異性，使得企業在開發 LLM 應用的過程中可以節約時間提升效率，以此來幫助企業節省成本。

戴冠蘭： 我來介紹一個我們的最新功能， AutoRAG 這個功能可以減少 LLM 幻覺，並且可以提升開發者的體驗。透過 Kong AI 閘道器的 AutoRAG ，企業客戶可以直接將自己的內容資訊交給 Kong AI 閘道器處理，以此來自動的構建一個 RAG 應用，整體流程相比於使用 Kong AI 閘道器之前，會簡化很多，能大大提升效率。

Kong AI Gateay 功能的整體演進邏輯，一方面來自於我們的全球客戶，不同行業的客戶會有不同的需求，我們需要持續滿足使用者的需求。另一方面來自於我們強力的產品和工程團隊，我們可以積極的發現和了解技術趨勢，並且將其轉換為真正的產品功能。

戴冠蘭：Kong 自成立以來一直專注於 API 管理領域，AI 時代下，儘管和之前存在一些差異，但終究還是 以 API 作為核心。隨著 AI 技術的迅猛發展，我們順勢推出了 Kong AI 閘道器，旨在為 AI 應用提供強大的基礎設施支援。

透過 Kong AI 閘道器，我們致力於為企業提供一個穩定、高效、安全的 AI 應用基礎設施，助力客戶在 AI 時代實現更快的創新和增長。

戴冠蘭： 我們將與 AI 相關的核心能力高度整合在 Kong AI 閘道器中。無論是當前熱門的 MCP 協議，還是 Google 推出的 A2A 標準，都將在這一平臺上得到全面支援和體現。

很難定義哪一項能力最具戰略意義，一方面是因為 AI 技術迭代極快，新標準和新需求層出不窮；另一方面，不同行業和企業的 AI 應用場景高度多樣化，對能力的側重也有所不同。

因此，與其強調某一個具體功能，我們更看重的是 Kong AI 閘道器提供的可擴充套件性、開放性與演進能力 —— 這是在一個高速演變、標準未定的領域中，真正具備長期戰略價值的能力。

戴冠蘭：Kong 在中國市場的應用呈現出強勁的增長勢頭，尤其是在開源社群的推動下，已成為眾多企業的技術基石。根據 Kong 官方資料，其全球開源社群使用者超過 16 萬人，覆蓋 46 個國家的 80 個使用者組。在中國，Kong 社群的活躍度位居全球第二，顯示出其在本地開發者中的廣泛認可。

Kong 與本地雲服務提供商和技術合作夥伴建立了緊密的合作關係，共同推動產品在中國市場的應用和發展。針對中國市場的特殊需求，在出海和國際公司在國內落地的場景，Kong 持續最佳化產品功能，增強對這些場景的支援。

戴冠蘭：AI 閘道器正迅速成為大模型（LLM）和生成式 AI 系統中的關鍵基礎設施。它不僅統一了流量入口，還在安全、合規、效能和可觀察性方面提供了核心能力。Kong 正在積極推動這一演進，致力於打造一個高效能、可擴充套件且面向未來的 AI 閘道器平臺。

增強競爭力的計劃：