騰訊GDC演講：“對話式AI”的遊戲解決方案是什麼？

「點選上方"GameLook"↑↑↑，訂閱微信」

智慧NPC是國內玩家非常熟悉的AI應用領域之一，但真正能做的廠商卻並不多。GDC2025大會上，騰訊RTC產品架構師Chen Jiayi分享了即時對話式AI（Conversational AI）賦能遊戲NPC的實際案例。

該技術可以支援低延遲的AI語音互動，確保遊戲過程流暢順滑，並具備精準的語義理解能力，從而實現準確回應。在全球範圍內，騰訊首次將大語言模型（LLM）與即時音影片（RTC）相結合，並應用於FPS遊戲中的隊友及自動互動場景，代表了行業前沿的AI技術探索。

以下是Gamelook聽譯的完整演講內容：

Chen Jiayi：

我是Joy，負責騰訊RTC產品的解決方案架構，很高興分享我們的對話式AI遊戲解決方案。

先說今天的分享安排，我今天會談到3個話題：首先是當今遊戲業的對話式AI應用；其次，我會對GME做一個簡短介紹，它是一個專門為遊戲設計的遊戲內語音聊天產品；最後，我會簡單介紹一下我們的對話式AI解決方案在遊戲之外的場景應用，比如客戶服務AI。

需要提醒的是，有兩件事我會提到很多，第一個是GME，指的是遊戲多媒體引擎，這是我們專門為遊戲做的解決方案。遊戲場景之外，我會談到TRTC，指的是騰訊RTC，即騰訊即時通訊。

對話式AI在遊戲中的應用

近些年，我們都看到大語言模型（LLM）變得越來越能夠參與到遊戲流程之中，這改變了AI與玩家的互動方式。為了更好地理解這個領域，我們來看三個遊戲關鍵場景中的不同應用：

第一個類別是AI支援的NPC，這是一個AI支援的、用於動態對話的NPC。英偉達的“Kairos Demo”就是該應用很好的案例。第二個應用就是AI如何擔任遊戲教練/助手，以提供即時訓練幫助玩家提升他們的遊戲技巧。比如Backseat AI就是一個AI助手，它可以分析玩法並且像教練一樣分享洞察。

第三個類別展示的是《暗區突圍》Demo，它是一個AI驅動的隊友。在多人或合作遊戲中，AI隊友可以扮演很出色的玩家或者提供輔助。作為案例展示，我將在未來玩這個遊戲Demo，而AI隊友可以在戰鬥場景中幫助玩家。

1、AI NPC

在去年的GDC 2024大會上，育碧介紹了Neo NPC，這是一個使用內部引擎研發的AI系統，為了讓NPC更具互動性並意識到玩家行為。這些NPC可以進行完整的對話並記住過去的互動，而非遵循指令碼。

我記得當時展示的Demo中，當玩家與NPC聊天的時候，NPC能夠發現玩家正在吃漢堡，在後來的對話中，NPC甚至還提到了這件事。這讓玩家與NPC之間的互動更具吸引力，更加個性化，也更有意義。

據Inworld AI做的一份調查顯示，99%的玩家認為更聰明的NPC可以提升玩法體驗，帶來更長的遊戲時間和更多的消費。這真正展示了AI可以深化玩家參與度，同時推動商業化的增長。

但是，傳統NPC的研發緩慢，且代價高昂。例如，《荒野大鏢客2》用了8年的時間做了1000多個NPC，每一個都需要定製化配音和動畫，這極大限制了遊戲工作室對其遊戲產品規模化的能力。

然而，AI支援的NPC可以透過允許無指令碼的自然對話解決這個問題。在更好的玩法之外，AI NPC還可以帶來商業機會，玩家也願意為更智慧的NPC支付更多，使得AI成為了更高收入、更好的留存率和新變現模式的關鍵驅動力。

這張圖片中，我強調了支援AI NPC的四個技術元件：首先是開放無指令碼對話，這可以幫玩家和AI NPC進行自然對話；其次是記憶功能，這意味著NPC可以回憶起玩家選擇、偏好和過去的對話等細節。

第三是多模型表達。AI NPC遠不只是文字對話，他們還會使用身體動作和麵部動畫，以帶來更逼真的情感表達。最後一個是情感表達。AI NPC可以展示大量的情緒，包括喜怒哀樂等等。

這張圖片中，我強調的是AI NPC當中的RTC如何與AI一起工作的關鍵技術點。它的基礎，是先從遊戲角色製作開始的，接著是指令碼對話，最初的對話是為了定義故事線和必要的故事情節，作為遊戲劇情的框架。

隨後來到第三個部分，它包括STT、LLM和TTS，STT代表的是語言轉文字，它可以把玩家說的話轉化為文字，然後交給LLM生成反應，TTS（文字轉語音）會將生成的文字轉化為語音，以傳遞AI即時生成的語音。隨後，使用面部驅動同步唇部動作和帶面部表情的語音，帶來真實的的角色反應。

然後，轉向美術生成，最後是渲染環節。最後一個階段打磨NPC的視覺效果，並將他們無縫整合到遊戲環境中。

2、AI遊戲教練/助手

接下來說的是第二種應用，AI教練或者AI助手，當然，有時候我們也把它稱之為AI伴侶。

這裡我將展示Backseat AI與知名主播Tyler1互動的一個Demo：

這是展示Backseat AI透過AI驅動的遊戲教練帶來強大遊戲體驗的案例，它可以在你玩遊戲的時候提供即時洞察，策略和提示。它整合到了《英雄聯盟》等遊戲中，分析玩家決策並提供站位、目標和戰術方面的指引。

與靜態的新手教學不同，Backseat AI可以為每一個玩家帶來動態化和個性化的訓練，Demo當中實際上還有一個主播，想象一下，如果他們可以說韓語或者中文，那麼這個工具就可以專門為你提供訓練指引，讓遊戲學習變得吸引人和具有沉浸感。

另一個案例，微軟的Copilot作為一個多功能AI伴侶，為玩家帶來遊戲內策略和之外的幫助，整合到了PC當中，併兼容《我的世界》這樣的遊戲。你不僅可以回應玩家請求，還可以建議製作配方、調整系統設定，甚至是最佳化效能。

展望未來，我們可以看到AI正在透過提供即時支援來改變玩家學習和適應遊戲的方式。它可以運用在個人訓練中，幫助玩家學習遊戲機制，在新玩家指引中得到遊戲內提示與反饋。另外，你還可以用在英雄學習中，幫助玩家掌握特定英雄，團隊合作可以提供即時戰術建議。

這張圖片中，我列出了我們在AI訓練場景取得了進步的三個核心區域。

我們先說理解，過去，理解需要切入語，比如“hey Siri”，而且它需要精準指令語。然而現在的環境可以進行即時語音互動，它還能懂遊戲黑話。

語音方面，過去配音是比較呆板的，而且呈現的語音無法進行定製化，只能支援預製的語言，而非玩家所在地區的語言。然而，當前解決方案引入了語調和情緒控制，讓AI語音聽起來更自然且更有吸引力。

另外，有了語音克隆，玩家們可以使用語言互動沉浸在玩法中，比如他們喜歡的主播聲音，就像前面案例中的那樣。

圖片底部展示的是應答流程：當玩家提出問題的時候，系統首先將請求轉化為一個向量呈現，然後用嵌入模型，它會在一個向量資料庫內搜尋，其中包括靜態遊戲知識和動態遊戲知識。靜態知識包括遊戲策略和機制，動態遊戲資料包括了即時匹配資料。

如果直接答案可用，它就會被提取並提供給玩家。如果不能，系統就會部署RAG，這透過允許更多高階LLM檢索外部資料庫的方式增強了反應的精準度。透過用預訓練知識和即時洞察這樣做，AI助手可以提供推薦並帶來有關聯且個性化的指導。

3、AI隊友

我們來到第三個場景，也就是AI隊友場景。

可以看到其他隊友總是在說收到，意思是他們收到了指令。

這裡，我會談到AI隊友處理指令的整體工作流。第一步是玩家指令，這是從玩家發出語音指令開始的，例如讓他們的AI隊友移動、找到一個物體，或者提供指引。捕捉到音訊之後，它會透過ASR（自動語音識別）進行處理，也是語音轉文字的。

然後進入第三步，一旦語音轉化為文字，它會與即時遊戲資料配對，併發送給一個LLM。後者用遊戲上下文環境分析指令，確保它理解玩家的意圖。

第四和第五步，系統透過商業邏輯處理請求，將其分類為基礎或特定指令，隨後準備隊的反應。到了第六部，指令會分發給一個AI隊友，並讓他們執行下一個行動。

第七步是指令分解，這是分析指令的過程，然後把它們拆分為能夠讓系統理解和執行的有結構、可行動的元素。一旦指令被分解，它就可以被轉化為遊戲特定的AI行為。

隨後，即時語音反饋會使用TTS給到玩家，他們會給出即時反應，如“收到”、“瞭解”等等。然後到第九步，AI隊友會根據對應遊戲邏輯執行，這時候指令就變成了真正的即時遊戲內行動。包括移動到特定位置、參與戰鬥，或者基於遊戲環境做出戰術決策。最後，再次使用TTS，玩家可以收到反饋結果

這個系統可以讓AI隊友動態化輔助玩家，帶來感覺更自然、更符合上下文環境的語音互動。

騰訊遊戲內語音聊天產品GME

我們看到了對話式AI是如何改變遊戲的，透過增強NPC互動、提升AI隊友表現，並在遊戲活動內帶來更真實的即時溝通。但是，如果沒有底層技術支援即時語音互動（RTC），以上這些就都不可能實現。

這就要提到GME，我們的遊戲內RTC引擎，扮演了至關重要的一部分。在遊戲場景中，無縫溝通是團隊協同、策略和沉浸感的關鍵，GME就是這個一站式遊戲語音解決方案，以兩種不同方式支援即時語音聊天和語音資訊。

第一種是語音聊天，它支援3D空間音訊效果，讓玩家透過直接的語音來偵測隊友和敵人，在FPS、TPS和社交推演遊戲中增強了真實感，它還根據距離在遊戲內調整聲音。

語音聊天中，它還支援語音變聲，最高100多種不同特效，你可以安排多房間支援組隊或小隊溝通。它還可以實現大型多人語音支援，最高支援1萬名玩家即時溝通，這意味著它特別適合大型戰鬥和元宇宙活動。

右邊是另一種形式，被稱為語音資訊，最長支援60秒語音，並且可以支援語音變聲。

GME還有額外的能力，如125個不同語言的即時翻譯，還包括語音轉文字、文字轉語音、音訊錄製和DIY語音變聲效果等功能。此外，它可以運用於不同的遊戲場景，包括FPS、TPS、MOBA、MMORPG、桌遊、VR、AR遊戲和元宇宙。

最右側，我強調了幾個GME功能和效能資料，首先是低時延，我們可以把時延降低到300毫秒，相當於一眨眼的時間，確保了即時互動。其次，我們還可以預防網路問題，哪怕是丟包率達到70%依然保持高品質溝通，我們還有24/7客服、全球覆蓋以及多平臺支援。

展望未來，我會談談GME如何在遊戲中帶來即時語音溝通，透過遊戲內語音訊道，GME支援多房間切換，所以玩家可以無縫切換到不同語音聊天室。它還可以運用到團隊戰鬥或者遊戲指揮等場景，或者在大廳聊天以及一對一私聊。

或者，對於更大的場景，如大型互動直播，GME可以支援數千名玩家在大型活動中或者虛擬音樂會中交流。

圖片下方的表格中，我放出了流程，你可以看到GME是如何帶來即時語音交流的。從傳送者到接收者，我們基於客戶需求使用不同的SDK，不管是UE、Unity還是Cocos。然後使用這些SDK捕捉語音資料，隨後傳送到媒體伺服器，進行處理和轉化流程，接著語音資料就傳送給了接收者。

我們還與VoiceMod進行合作，另外，還想要強調的是，我們與Audiokinetic進行合作，我們的GME可以無縫與Wwise整合。

接下來，分享一個案例，展示GME外掛如何與Wwise無縫合作帶來先進的語音聊天技術。

體驗了《Darker and Darker》的玩法之後，很多使用者討論說遊戲語音技術讓遊戲變得更好，增加了緊張、真實和深度的合作體驗。

在這款遊戲裡，有兩個主要的語音解決方案設計，包括：1）團隊語音聊天，讓隊友之間進行協作，2）近場語音聊天，可以讓玩家聽到附近其他小隊的敵人。

在這個案例中，GME外掛可以無縫與Wwise連線，簡化了不同場景的語音部署流程。

接下來，我想要強調的是為何客戶選擇了我們的GME產品。我們的GME為多個平臺提供SDK，包括Windows、Mac OS、iOS、安卓、Web、Cocos、虛幻引擎和Unity。它給開發者帶來了整合語音交流的靈活性，不管他們的遊戲選擇了什麼平臺或者引擎。

與此同時，它對於跨平臺也是友好的。GME移除了平臺障礙，讓玩家不論在哪裡遊戲都可以交流，不管是PC、主機還是移動裝置。該系統支援PS4、PS5、Xbox、Switch、Windows、安卓、iOS和網頁端，使之成為了真正的跨平臺解決方案。它還相容VR/AR裝置。

對於即時交流，全球覆蓋是至關重要的，我們的產品在21個區域運營，在50個區域可用，為全球玩家提供高速、低時延連線。透過在70個不同國家的3200多個加速節點，玩家們可以自動連線到最近的GME伺服器，將時延降到最低。

這張圖片，展示的是F.A.C.U.L.引擎，全稱是First-Every FPS AI Companion Who Understands Human Language。這是個很有趣的命名，將會在未來部署到《暗區突圍：無限》之中。

它在幕後是如何運作的？這就用到了GME。

右側這個工作流程圖描述了玩家是如何與AI隊友交流的，首先，玩家說話的時候，SDK會捕捉降噪和去迴音的語音，然後這個語音透過雲端傳輸，確保極低的時延和超高的質量。

接收之後，AI管線即時處理資料，ASR將語音轉化為文字，讓它生成反應，TTS可以讓AI說話。然後，這個反應會透過雲端返回玩家那裡，將對話時延保持到最低。

這是一款利用了GME的遊戲，名字叫做《Suspects：Mystery Mansion》，是一款由Wildfire Studios研發的多人推理遊戲。在這款遊戲裡，玩家扮演動物角色，一起來找出誰是謀殺者。這款遊戲與同品類遊戲最大的不同在於，它帶有內建語音聊天功能，我們的GME產品在其中扮演了很重要的作用。

對於這款遊戲，有非常具有挑戰性的需求，我們一起解決了這些問題。首先，玩家的語音會根據遊戲內狀態發生改變，我們的產品提供靈活的語音訊道管理，適應了這種動態化需求。

另外，我們提供高質量、低時延的交流，讓遊戲裡的指責、辯護或者虛張聲勢都可以被即時聽到。此前，Wildfire Studios也分享過GME給遊戲帶來的幫助，我們對此感到自豪，並且將繼續與客戶一起成長。

對話式AI解決方案

最後這個部分，是我們的對話式AI解決方案，非常適合客戶支援場景，還能運用到遊戲之外的場景。

這是我們的即時對話式AI解決方案的基礎技術結構，左側是一款應用，不管是軟體還是線上應用，都可以與我們的SDK整合。它捕捉玩家音訊併發送到我們的TRTC全球網路，收到語音之後，就會經歷4個處理流程，我在前面已經講過好多次。另外，LLM和TTS都可以是來自第三方的，取決於你的需求。這個過程完成後，會發布到我們的TRTC全球網路。