「 點選上方"GameLook"↑↑↑，訂閱微信 」
雖說DeepSeek是今年AI熱潮的引爆者，但生成型AI（GenAI）並不是2025年才成為“當紅炸子雞”。
早在2022年的時候，ChatGPT的問世就帶來了大量的大語言模型（LLM）被科技圈和資本市場青睞，當然，遊戲市場也不例外。不過，除了文生圖、文生3D資產外，GenAI在遊戲業很熱門的一個應用方向，就是做智慧NPC。
當然，由於需要大量的訓練、高昂的製作成本和對專業人才的高要求，智慧NPC目前還只是大廠在嘗試。此前的GDC 2024大會上，育碧團隊分享了使用GenAI做智慧NPC的7條經驗，我們不妨看看，歐美大廠是怎麼運用AI做智慧遊戲NPC的。
育碧團隊總監Xavier Manzanares
以下是Gamelook聽譯的完整內容：
Xavier Manzanares：
我叫Xavier Manzanares，是製作人和團隊總監，主要從事新技術、創新和遊戲設計，還包括遊戲交付，我最近交付的專案包括《馬力歐瘋狂兔子：王國之戰》、《馬力歐瘋狂兔子星耀之願》，以及相關DLC。在任天堂工作是很好的體驗，他們很注重以玩家和玩法為中心。
今天與我一起分享的還有Virginie Mosser（敘事總監）和Melanie Lopez Malet（高階資料科學家）。Virginie在育碧很多年了，在多個媒體領域有著非常豐富的敘事設計經驗，她今天會談到很多敘事方面的東西。Melanie從教授文學轉行到了技術行業，將AI與文學融合來以全新方式講故事，她會講資料科學方面的事情，因為我們得到了大量的經驗。
總的來說，我們的團隊加起來有30人左右，分佈在巴黎、Montpellier和蒙特利爾。需要說明的是，開始的時候沒有人從事過生成型AI（GenAI）或者機器學習（ML）。因為在2022年到2023年的時候大語言模型（LLM）遍地都是，我們可能都聽過NLP、LLM這些術語，每天都有相關的科學文獻釋出。
但我們聽到了很多正面的東西、很多負面的東西，對我們而言，很重要的是避開這些噪音，直接上手體驗。因為我們有著設計和交付遊戲的經驗，知道科技和設計意味著什麼。對遊戲人來說，科技並不是唯一重要的，工具本身並不能打造偉大的遊戲。想要做優秀的遊戲，它需要與遊戲設計和設計願景混合、融合，這裡說的設計，包括遊戲設計、劇情設計、美術設計等等。
因此，面對覆蓋面巨大的生成型AI技術，我們決定一步步來，最終決定從NPC開始，因為很多型別的遊戲都有NPC，我們可以從這裡開始，看生成型AI能夠給NPC帶來什麼。這不是把ChatGPT插入NPC的大腦中，而是玩家們與NPC的互動可以做到多有意義。
所以，我們並沒有直接把LLM做到NPC當中，而是首先做互動，因此我們的話題是意識、語言、感知、情緒、道德、玩法、個性等等，還包括圍繞NPC的系統。我們嘗試了一年，所以積累了一些經驗心得，想要在GDC的舞臺上與同行們分享。
在分享心得之前，先展示一些我們做的NEO NPC系統的Demo：
NPC的表情會根據對話內容的變化而改變，這是讓互動變得更自然、更有響應的關鍵。
即時探測玩家的互動，不管是誇誇其談、讚揚或者道歉，都會直接影響NPC的互動。
這些互動不僅可以提升社交技巧，還可以解鎖有價值的知識。透過有建設性和主動地互動，玩家可以提升與NPC的關係等級。這可能對於衡量進度是有幫助的，還可以解鎖遊戲裡的新互動選項。
透過讓NPC動態化調整他們的情緒反應並基於玩家的輸入做出反饋，遊戲可以帶來更深度的敘事沉浸感和更加個性化的故事體驗。
我們的第二個焦點，就是讓NPC意識到動態興趣點，他們在遊戲裡的反應，融入到了遊戲世界中。NPC會意識到任務更新和大事件的發生，在遊戲過程中提供具有情景化的評論和反應。與世界中的興趣點你互動的NPC，增強了遊戲世界的互動性。
最後，我們探索用NEO NPC做戰略決策，這些NPC可以作為合作伙伴，輔助任務規劃並適應你的策略。透過分析場景，可以帶來定製化的策略。
透過獨特的互動，NPC可以提供任務和支線任務，豐富遊戲體驗並展示AI合作的潛力。讓NPC幫助玩家做出戰略決策，為解決問題帶來了團隊精神。
這些只是我們嘗試過程的一瞥，我們的目標是利用AI技術來豐富敘事與玩法，為NEO NPC為更具沉浸感的遊戲世界做出貢獻鋪平了道路。
我們的嘗試帶來了7條經驗，真正重塑了我們用AI研發的方式。
1、擁抱新團隊動態
首先，團隊動態的昇華。開始這個實驗的時候，我們沒想到的是所需的工作量。GenAI支援的NPC需要所有部門的介入，遊戲策劃、遊戲程式設計、任務設計、音訊等等，每個部門都要在這個話題上投入大量工作。
不過，這些對我們來說都是預料之外的，因為一年前開始的時候，我們都不知道有什麼預期，而且我們必須提高團隊人數。我們看到了團隊在角色和看法方面的重大變化，比較重要的是資料科學、遊戲策劃、敘事設計和程式設計技術四個團隊。
第一個是資料團隊，通常他們是輔助角色，取決於你的遊戲品類和需求。但這一次，他們成為了團隊的一部分，資料科學家、機器學習工程師，當然還有資料分析師，他們都是團隊的一部分。
然後是遊戲策劃，他們之前在GenAI領域沒有經驗，因此要學習瞭解認知設計話題，數字（大腦）結構、情緒矩陣等更多東西。
接下來是敘事團隊，這是很關鍵的部門，但我們必須管理敘事湧現（narrative emergence），如果你從事過系統設計，就會知道什麼是湧現，用了GenAI，這種情況就會升級。對於遊戲敘事，我們就必須管理質量、輸出，這對於敘事團隊而言是一個重大轉變。
對於程式設計師來說，技術堆疊也很不同，圖中可以看到。不過我們說的是不同的API，比如我們使用的來自Inworld的角色API，然後是TTS/STT，我們為這次演示和整個試驗使用了多個LLM。所以這次試驗使用的技術可能與你從事過的專案都不同，對我們來說也是很糟糕的情況。
我們的目標是讓玩家與NPC互動時響應的延遲降低，這是做GenAI NPC團隊需要解決的重要問題。
2、深化遊戲敘事
我是一名指令碼寫手和作家，從20幾歲就開始了，我熱愛寫故事、創作傳說，當我轉型GenAI的時候，我問自己，以後還能創作嗎？這是個很難的問題，我有聽過很多有關GenAI的事情，並不是所有都是正面的。
然而沒有人告訴我，在沒有提前寫好對話的情況下，與一個角色對話會是怎樣的，這樣就像是為他們搭好舞臺，讓他們給你帶來驚喜。這就像是教學生一樣技能，然後看他們發揮的如何。
不過，我第一個想的問題是，令人難忘的角色和容易被忘記的角色，之間的區別是什麼？
這些令人難忘的角色背後，或許都有一個共同點火花：他們是有靈魂的。當我首次涉足GenAI的時候，靈魂的辨識影響了我的每一步。NEO NPC非常飢餓，他們需要太多的內容訓練才能創造改良後的NPC。
想打造屬於遊戲世界的NPC，我們需要投入很多內容，包括背景故事、情緒、個性、缺點、對話風格、目標等等。
一個只會打招呼的角色，給人的感覺不像是真實的機器人，但這是我的開始。你在內容方面投入的越多，比如背景故事、他們的動機、特性特點，他們來自哪裡，他們就會變得更豐富、可信，這時候就要用到GenAI。
這需要對NEO AI系統的角色個性進行深度探索，你要給他們增加對的問題，他們熱愛什麼、我希望他們在玩家心目中喚醒的是什麼樣的情感？所有這些內容資訊創造了角色的腦圖細節，包括他們的關係圖，然後加入Inworld創造一個角色。
如果你覺得一個角色有了這些就不再需要你的創意輸入，我這裡長話短說，這種想法非常錯誤。因為，如果要創作這麼多的內容，就非常需要一個框架，接下來讓我的同事Melanie 介紹相關的內容。
3、創作一個定製化AI框架
首先，為什麼要做一個AI框架？當你做一個由LLM支援的玩家輸入系統時，可能會認為非常有趣，因為玩家們的輸入是開放式的，你能看到任何想看到的東西，做任何事，LLM會給你一個答案，角色扮演本身就已經很有趣了。
有了這些，你可能打造一個非常有趣的敘事沙盒，比如《AI Dungeon》會讓你不斷髮笑，而且可玩性極高。你還可以讓LLM與知識結合，做更多敘事的同時，還可以對內容有更高的控制權，還可以給玩家自己探索敘事的能力。
但我們想要更進一步，要得到更多的結構，這也是我們開始做玩家輸入與NPC輸出LLM的原因。但是，當玩家可以輸入任何想知道的東西、NPC能給出任何他想說的答案時，這一切都是由LLM的內部邏輯管理，就像是一個黑盒子。
我們可以決定如何打造結構，敘事節奏，以指引玩家的進度、掌握玩家的學習曲線。語言是一個很大的領域，你能說的東西太多了，NPC可以選想說的話也有很多，介於他們之間的儘管是系統化處理，但也是語言。如果玩家以這種方式輸入，那麼它以是一個遊戲，但本身又不一定是款遊戲。
如Xavier所說的那樣，我們都不是機器學習背景出身，我們做的決策是為這些無限的可能增加中間步驟，我們已經知道的東西就是遊戲狀態，這也是我們為輸入分類的原因。所以當玩家輸入的時候，我們可以判斷情緒型別、話題型別和動作型別。NPC輸入也是一樣，當他說話的時候，我們可以用根據設計領域進行分類，這個領域，你知道如何去處理。
有了這些狀態，我們可以為每一個角色做調整和平衡，讓他們更加獨特，還可以加上UI、引擎和一切我們所知的東西，這對團隊的幫助很大。聽起來很抽象，所以接下來我們看看在管線中是怎樣的：
這是我們的文件之一，我們的任務是讓角色開心一些。我們所做的是將玩家語音輸入得到的反饋進行處理，但並不是改變，因為我們不希望改變他所說的意思，然後用我們的指標進行分析。
比如情緒，我們並沒有用預設的情緒工具分類，而是打造了自己的工具classifier。話題的處理也是一樣，我們來決定哪些是與遊戲一致的話題，還有動作的處理。我們希望這樣可以影響到與之相關的人和事物，然後將其與遊戲機制關聯起來，所以我們也做了一個classifier。
我們還有其他的指標，例如重要資訊的距離，並非所有的東西都呈現在今天的展示中，但我們儘自己所能，做了遊戲製作人能夠做的一切。有了這些之後，我們就可以呼叫LLM了，因為我們打造了一個可以對玩家輸入進行情景化的框架。
Inworld給我們的LLM工具非常簡單易用，然後我們得到一個答案，用我們的框架解讀NPC要說的東西，然後我們把它輸出到UI中。這樣，玩家就能知道遊戲是否理解了他們所說的東西，以及遊戲透過NPC的話做出的反應。玩法與敘事之間的連線是最難做的事情，因為這需要帶來有意義的體驗。
那麼，為什麼我一直說它是非常定製化的？因為遊戲AI遠不只是GenAI，早在ChatGPT出來之前我就已經在做這個了。這麼說不是為了聽起來很酷，只是想告訴大家，機器學習是有一大片領域的，遠不只是這些模型。當你將規則狀態、classifier等知識與AI結合起來，就可以做一個適合自己的管線。
所以，不要試圖說，我做了一個定製化系統，然後對所有文獻定製化，我選擇挑出更酷的一個，你必須挑出一個符合你創意願景的方案。例如我們就選擇了一個靈活的方案，首先要用文字進行創意原型，第一個機制根本就是個秘密。當你輸入文字的時候，NPC很難知道你的心理狀態，所以我們認為玩家與NPC應該有更親密的接觸，然後我們嘗試配音，因為這可以給你力量，所以模型與策劃之間的聯絡始終存在。
在機器學習領域，LLM是很偉大的一步，這可以幫你開啟新體驗、新玩法的眼界和想法，這些可能是你之前認為不可能的事情。如果你深入瞭解，就會發現最適合你自己的方式。
這裡我說的是創意原型，但在一個製作團隊中，你或許需要一兩個資料科學家，因為我們在這個過程中的角色就像是漏斗，幫你選擇適合自己的那一個。因為每天都有大量的模型出現，如果你只是追潮流，可能選擇的模型幾天內就過時了，這是很難的。
其他的發現就是，資料科學團隊是受到質疑的。當我們加入一個團隊的時候，人們可能覺得，我們有了很酷的AI幫手，就可以做很酷的東西。實際上這是誤解，因為我們是完全迷失的，不知道在核心團隊該怎麼幫忙，我們必須傾聽人們是怎麼工作的，然後改變我們的流程和節奏，以適應製作團隊的節奏，根本做不到兩小時就交付一個模型那種完美狀態。
4、遊戲化溝通
接下來我們會談到這個方法對遊戲設計的影響，簡單回顧一下我們當時遇到的挑戰和問題。
如果談到對話，這只是GenAI NPC系統的一個部分，但這是我們的焦點之一，我們經歷了大量的反覆迭代，涉及對話指引、情緒矩陣、話題、策略等等，所以分享出來可能會很有趣，你們會知道我們當時經歷了什麼。
先從對話指引說，我們知道，開放世界遊戲有很多的地標，我們知道如何指引和幫助玩家，這可以是或者不是微妙的方式來做。你如何幫助玩家與NPC對話，如何指引他們的進度。因此我們給自己的問題是：能否用生成的對話來做到對話指引？
我們做了大量的測試，但一個很重要的是認知型關卡設計，我們可以將NPC的大腦想象成一個帶有戰爭迷霧的地圖，其中很多地方是鎖定的，比如話題、情緒、背景故事元素等等。玩家是自由對話，因為他可以提出任何想問的問題，這裡的目標是用UI以及NPC反饋來給出指引。
這種體驗可能是獨特的，因為作為玩家，你可能對NPC提出的問題與別人是不一樣的，NPC會基於你的問題解鎖新區域。因此，每個玩家都可以根據自己提出的問題獲得獨特的體驗。
然後是情感矩陣，這是我們深入挖掘的領域。為什麼這麼做，因為我們覺得我們或許需要表達更微妙的情緒，讓NPC更像真人，這個表格看起來就像是情緒矩陣，左右側是玩家做出的行動，左側是NPC情緒狀態，如果玩家很憤怒、NPC很開心，這樣的輸入會帶來什麼？而且很難用一句話來說明白為何憤怒。
實際上，我們探索的更深入，不是7種情緒，而是15種，而且每一種情緒都有不同的步驟。我們在這個問題上投入了一個月，但不只是策劃迷失了，整個團隊都很迷茫。我們不知道玩家如何理解這個系統，並不是個好想法，但卻是需要的，我們希望知道真正的限制是什麼。
接下來我們開始做策略，決定一個策略的是行動、話題和情緒，行動可能是動作遊戲裡的揮劍、對話遊戲裡的誇誇其談等，這些都是可以即時探測到的行動。話題可以是NPC的工作、家庭生活，遇到的阻力等等，當玩家溝通的時候我們能探測到走向。
隨後是情緒，NPC有很多種不同情緒，會根據玩家輸入發生改變，這被我們稱之為策略，我們保留了這些東西，它們與如今遊戲裡部署的很接近。
例如之前展示的Demo，對話介面有很多部分組成，如面部的表情可以展示情緒狀態，所處的場景展示了話題，對話方塊裡的人物註釋解釋了人物關係，左上角的列表給出了對話目標。在未來做智慧NPC的時候，你們或許會、或許不會使用這個，但玩家在對話玩法中，對於可選項是很感興趣的。
講興趣點、感知等Demo展示的東西之前，我們需要先解決這個，從步驟1到步驟2。
5、避開NEO阻力
我之前說過，我很喜歡寫故事和講故事。這裡講一個跟GDC相關的故事。在GDC大會開始前一個月，我們開始準備在GDC展示的Demo，我們團隊進入了全員備戰模式。一個晚上，有團隊成員告訴我，在跟Bloom對話的時候沒有反應，我也遇到了類似情況。
排查之後，我們發現，問題是團隊要根據設計的變化等產品方向上的改變進行不斷迭代，但我們完全失控了，這裡分享幾個避免NEO阻力的方法，敘事團隊要創作角色的本質，掌握角色的變化。關注NEONPC系統的微妙動態，每個細節都很重要，還要將敘事與資料結合，帶來無縫的連貫性。
三週前，我重新做了這些角色，傾聽團隊所有部門的需求以便把他做的更連貫。我很擔心，但後來Melanie發了一個資訊，他說這次轉變很成功，測試之後完全沒有問題了。
這裡的教訓是，當一個系統有太多人能輸入的時候，就會帶來角色的不連貫。因此，每一次做出改變，我們都需要注意連貫性，因為這會影響你的角色。
6、根據使用者調研打磨遊戲設計
如果把所有內容說完可能會拖堂，因此我們長話短說。使用者調研非常關鍵，所有專案都是如此，我們也不例外，因為內容都是生成的輸出。對於所有團隊，都需要適應使用者調研，因為這可能會重塑團隊。
遊戲設計和使用者調研團隊在大部分專案中都是很關鍵的，但他們之間的關係，就是管理驚喜與突發狀況。我們遇到的情況是，你該如何處理玩家的突發行為？
我們需要對此提出的問題是：這與我們意向中的一致嗎？玩法測試中發生了什麼？如果不是，我們該如何打磨新的NPC行為，讓它與我們想象的方向一致？突發的NPC行為能否帶來新玩法？諸如此類。
所以，這裡的關鍵是玩家預期是什麼、策劃預期是什麼？兩者之間是有差距的，你需要適應玩家預期，還是改變NPC行為以達到你的設計目的？在GenAI設計的時候，兩個部門之間的合作是非常重要的。
如使用者調研團隊領導的workshop，因為，對於突發情況，我們很希望知道遊戲策劃團隊的極限，哪個部分太多、哪些部分不足？我們要始終挑戰設計團隊。這個workshop是很多團隊參與的，因為我們不能將遊戲設計與其他團隊分割開來。
然後，我們還有與玩家之間的workshop，實際上就是與玩家溝通，因為他們對NPC有不同的預期，你需要保持開放，圖中的字跡可能看不清，但能夠看到我們在與玩家就不同的事情進行拉扯。
其次是真實的沉浸感。這些NPC帶給玩家的感覺是真實的，一些玩家覺得，這與他們之前見到過的NPC有很大的不同。我們用語音版本測試，玩家們發現不知道怎麼跟NPC對話，測試過程中，經常有玩家問，“我這樣會打擾NPC嗎？”“我能說這些嗎？”
我們是很驚喜的，但這與我們剛開始做的意圖一致。當你做GenAI支援的NPC時，要注意這些也是反饋的一部分，你要接受它。
第三個因素，你需要對玩家的反饋作出回應，不能讓他們感到因為NPC而沮喪、有很大壓力。他們不應該害怕與研發團隊或者使用者調研團隊溝通，你有時候需要放下偏見，傾聽這些玩家的建議，與玩家建立很緊密的關係。
7、與專業的合作伙伴合作
在做這個實驗的時候我們還希望保持團隊規模較小，所以決定與專業的外部夥伴合作。一方面我們選擇了Inworld，我們一開始就選擇了Inworld，因為這可以讓團隊很早就能填寫角色卡，與角色聊天。
另外，我們有很好的迭代動態，我們說了我們的願景是什麼，角色的背景，他們調整了產品的極限來適應我們的需求。比如我們對角色願景以及角色想要的態度有很大的workshop，因為我們的要求很挑剔，希望做到角色對話儘可能自由。做到這樣並不容易，但他們已經做好了儘可能多迭代的準備，這種靈活性對我們來說很關鍵。
另外，我們還與英偉達的AUDIO 2 FACE工具合作了很多，這是一個可以生成即時嘴唇和麵部表情動畫的工具。所以這非常適合我們，因為我們在即時生成大量的內容，所以需要這樣的支援。
但與此同時，我們希望它是量身定製的，因為有很多不同的角色，且聚焦於情感和敘事深度，因此我們對工具進行調整來改變角色面部表情，所以我們在工具能力和對角色想法之間做了大量的混合。
我們希望控制情緒矩陣的東西，所以我們希望改變情緒設計的方式。例如我們做了很多的調整，在Maya上進行修改，實現了對每個情緒都好用的管線，因此這需要大量的迭代。
最後一個步驟就是身體，因為，如果你的表情發生了變化，但身體卻沒有任何動作，就會錯過一些東西，身體語言也是玩法表達的一個渠道。所以，我們決定採用動作捕捉，我們希望做出統一感，專業感。我們已經有了很多生成的東西，所以希望有一些團隊做的東西在裡面。這是一個不可思議的選擇，你可以看到生成型內容與量身定製內容的混合。
最後一點是技術要求，這裡會有很多，要做好準備。這是我們沒有想到的，實際上，我們很多時候需要做出調整來適應技術要求。
這套方案解決了我們的願景需求，我們完成了部署，雖然很有挑戰，但為我們打開了這個領域的所有可能。我們本來只是想做一個工具，但最後卻進入了一個全新的領域，開啟了全新的戰鬥。
····· End ·····
GameLook每日遊戲產業報道
全球視野 / 深度有料
爆料 / 交流 / 合作：請加主編微信 igamelook
廣告投放 : 請加 微信：Amyly588
長按下方圖片，"識別二維碼" 訂閱微信公眾號
····· 更多內容請訪問 www.gamelook.com.cn·····
Copyright © GameLook® since 2009
覺得好看，請點這裡 ↓↓↓