AI 作為 CIO 們最關注的領域，IT Spending 佔比最高、且還在提升，2Q24 的佔比為 16.3 %，比 1Q24 增長了 2.6 個百分點。

與此同時，我們也看到企業在 AI 的投入方向上正在從“試驗”向“部署”轉變，在 2023 年的 7 月、 12 月到今年的 6 月的三次取樣中，我們能夠明顯看到 AI 部署的滲透率的逐步提升。

如果看企業具體是如何部署 AI ，就會發現，在今年企業還是以內部 IT 支援或運營提效作為主要方向，這一點也符合了我們的觀察。

之所以最先用 LLM 來提升企業內部的效率，因為現階段 LLM 還存在幻覺或者其他成本上的最佳化空間，但從我們和很多企業直接交流的情況來看，即便只能部署在內部場景中，企業對 LLM 帶來正 ROI 這件事是沒有質疑，這也是他們現在在企業內部很願意在很多場景去嘗試的原因，所以我們得到的企業反饋都是很正面的。

對於 2025 年的預期，我們看到很多企業表示，隨著模型的成熟，他們會進一步考慮在對外功能上嘗試 LLM，主要就是營銷與銷售環節，因為這兩個板塊屬於歐美企業成本很高的兩個職能，所以我們認為，企業下一步對 AI 的部署就是以提高對外的效率為主。

另外，在我們的觀察中，也許我們即將進入到一段“應用真空期”，在這個區間內最直接的感受是 AI 的部署效率比我們想象中慢、不會有特別新的場景出現，從投資決策角度也會陷入一段審美疲勞期。

但是我們對中長期的趨勢是非常樂觀的。也許短期來看無論是技術面，或者說市場的 narrative 上，可能會出現“真空期”，但是我們相信，隨著 GPT-5 年底的釋出，以及 Claude-3.5 系列模型的陸續推出、多模態的持續解鎖，所以，到 2025 年再來看大眾應用的話，和今天相比一定是相當樂觀的狀態。

ServiceNow（NOW) 創立於 2004 年，2012 年 6 月在紐交所上市。ServiceNow 產品可分為三大類：底層平臺、IT類和新興產品三部分。其底層平臺 Now Platform 是 ServiceNow 最核心的工作流引擎，IT 類產品包括 ITSM、ITOM、ITBM 和 ITAM， IT 工作流產品是 ServiceNow 最強勢的產品，目前的市佔率超過了 70%，新興產品則涵蓋了客戶服務（CSM）、人力管理（HR）等場景。

ServiceNow 很早就確定了“One code，One data model”的基礎平臺策略，它所有產品和服務的基礎都是基於底層平臺 Now Platform 來展開的。Now Platform 提供了一個統一的技術棧，讓所有功能和應用都能在同一個平臺上開發和執行，這一產品理念讓 ServiceNow 在雲時代成為企業數字化轉型底座，在 GenAI 時代也有機會成為 AI 轉型底座。

•One code，One data model 技術框架下，所有應用共享同一個程式碼庫和資料模型，避免資料孤島和重複資料問題同時，也提高了開發效率和資料一致性；

• 相容性和可拓展性：Now Platform 採用模組化設計，允許不同的功能模組（如 IT 服務管理、人力資源、客戶服務等）獨立開發和部署，同時保持彼此之間的相容性，同時，平臺的設計允許輕鬆新增新功能或整合第三方應用，而不會影響現有系統的穩定性。這種架構也讓新功能和產品可以更容易地整合到現有系統中，無需大規模的重構或單獨的實施；

• 跨領域應用：由於所有功能都建立在同一平臺上，不同業務領域的應用可以輕鬆共享資料和功能，促進了跨部門的協作和流程最佳化，而這一點也讓 ServiceNow 更低摩擦得將自己的產品 ITSM 延展至其他場景，從而實現了 workflow 的滲透。

ServiceNow 的統一架構優勢與 Salesforce 對比會體現得更明顯。Salesforce 歷史上運行了四個獨立的雲服務（如Service Cloud和Sales Cloud等），這意味著Salesforce 推出 GenAI 產品時，可能需要在所有四個核心上進行訓練和實施，增加了複雜性。相比之下，ServiceNow 由於所有功能都構建在最底層的平臺之上，因此可以更快速地進行創新和部署。

Now Assist  是 ServiceNow 在 2023 年底釋出的 GenAI 產品，它延續了 ServiceNow 的平臺化策略，All-in-one 地承載了 ServiceNow 上的 AI 相關能力，已經覆蓋了 ServiceNow的幾個主要套件產品，包括 ITSM、CSM 等，目前 Now Assist 提供的AI能力主要集中在最基礎的摘要（summary）和推薦（recommendation）功能上。

Now Assist for ITSM 面向的是 ServcieNow 的 IT 工作流產品線，它首先增強了面向使用者的虛擬助理能力，能夠提供詳細的歷史工單摘要，並能夠以 Q&A 的方式提供對支援問題的回答，而不僅僅是搜尋結果。而且它還能為完成的支援事件生成最佳實踐文件。Now Assist 在 Now Platform 中還能提供提供自然語言生成程式碼、工作流和流程 Playbook 等功能。Now Assist 也用於客戶工作流和 HR 服務等套件應用，起到非常類似的作用。

Now Assist 是 ServiceNow 歷史上增長最快的產品，根據 2024Q2 財報，NOW Assist 的淨新年化合同價值（NNACV）在當季度實現了環比翻倍，並獲得了 11 個超過 100 萬美元的訂單，其中 2 個超過 500 萬美元。此外，Now Assist 的 upselling 效應十分明顯，雖然它相比上一代平臺 ServiceNow Pro 提價 30%，但依然十分受客戶歡迎。

在 ServiceNow 釋出的 2024Q2 的財報中，公司在 Q2 的收入達到 26.27 億美元，同比增長 22%，超出預期 2700 萬美元，其中，訂閱收入為 25.4 億美元，同比增長 23%，超出預期 1000 萬美元。

Kewei：我不是從事業務運營方面的，所以我只能從個人體驗上去理解。我覺得 ServiceNow 的競爭優勢主要有三個。第一是 ServiceNow 的產品，它提供了一個非常全面的解決方案，這樣就能滿足大企業很多的業務需求，同時 ServiceNow 的產品能夠高度地定製化和自動化，這點對大企業來說非常重要，而且覆蓋面也很廣。這樣企業降本增效的效果就會非常明顯。

第二，美國 SaaS 企業中非常重要的就是信用，因為 ServiceNow 起步非常早，到現在已經 20 多年了，它在這段時間裡積累了很好的信用，這對面向大企業的 SaaS 公司來說非常重要，因為大企業客戶更希望能跟自己信得過的企業合作，也願意花更多的資本來跟這些公司合作。

第三可能就是服務，ServiceNow 提供專業的支援和服務團隊，並且非常注重安全性、合規性和可靠性，雖然可能在使用者體驗方面這些因素並不是非常重要，但是 ServiceNow 在這方面做得也比較好。

Kewei：ServiceNow 的產品在設計上非常簡單，因為所有的東西都是以表格為基礎，這點放在 use case 上會非常簡單，使用者有任何需求，都可以先建立一個表格，這樣就可以和企業內部運營更好地關聯起來，後續的一切都在這個表格的基礎上操作。如果需要定製或者是別的新業務，都可以透過這個方面來實現。不僅非常直觀，還能減少溝通上的一些障礙。

Kewei：這是我們引以為傲的工作流系統，從設計上來講，以表格為基礎，並以工作流作為底層的引擎來驅動自動化和定製的需求，這樣在實現和使用者使用體驗上就會好很多，也會快很多。

Kewei：公司高層對 AI 相當興奮，在投資者開發大會上也提過，公司對 AI 的投入比重非常大，基本上是 all in。相對於別的公司，AI 其實可以和 ServiceNow 現有的產品有機地整合在一起，這是很明顯的特性，ServiceNow 在 ChatGPT 火之前已經積累了很多 AI 的基礎，可以說已經修煉了很久，所以現在相當於時機成熟了，相對於別的公司而言，ServiceNow 能夠更快地把 AI adopt 到產品裡面。

第一，自動化方面，把工作流系統與 LLM 結合在一起，變得更智慧，智慧可以體現在工作流的設計或者生成上，以及與外部的整合上。

第二，更多的數字化，把一些之前需要手動的功能實現自動化，並整合到 ServiceNow 的 Now Assist 裡，這可以更好地提升效率。

第三，在知識庫方面，透過企業搜尋把所有的知識整合在一起，在這個基礎上利用 Assist 與外部的應用整合。傳統的知識搜尋要先搜尋找到想要的結果，再進行下一步，然後根據內容中提供的指令去做。現在可以把這些全部整合起來，搜尋以後直接就可以執行要做的事情，這可以極大地提高效率。

第四，在隱私保護和安全性上，現在 AI 在這方面還是比較欠缺的，如果 ServiceNow 可以做好這方面，就可以更好地吸引大企業客戶。

第五，在實現策略上，這點比較好的是 ServiceNow 沒有用傳統的大模型，而是針對不同場景開發了很多小而精的高度定製模型。比如生成工作流是一個模型，生成文字是一個模型，生成程式碼又是另外一個模型，這些都是 ServiceNow 自己開發、並執行在自己的硬體上的，這對那些注重安全性和隱秘性的公司就很有吸引力。

Kewei：客戶的整體反饋還是很好的，因為畢竟相對於之前的 AI / Machine Learning 功能，LLM 提供的體驗和精確度完全不一樣，是全新水平的體驗。但是我覺得企業客戶採用新技術會比較保守，他們會試用、觀察、不停地考慮，所以他們採用的速度會比較慢，不過目前整體來看趨勢還是很好的。

Kewei：涉及到模型 ServiceNow 有很多種方案，但總的來講有三個：

• 第一，可能有一部分客戶的需求還是用 OpenAI 的模型，在這種情況下，我們是透過 API 的方式把資料文字發給 GPT；

• 第二，用 ServiceNow 自己的模型，目前通用的是 Now LLM，但是還會有一些別的應用的模型；

• 第三，我們接下來會推出 BYOM （Bring your own model），客戶可以選擇用自己的模型，透過 API 的方式整合到 ServiceNow 的系統裡。比如如果有企業考慮到用 ServiceNow 或者其他模型公司的模型都有可能把資料分享出去，所以就選擇自己訓模型，但在實際使用中還是要把自己訓的模型和具體產品、裝置、工作流耦合，BYOM 的方式就是作這樣的整合，非常靈活。

Kewei：一般都是會用開源的模型，但是會比較有針對性、比較小巧，不會採用很大的模型。一方面是成本的考慮，另一方面是效能、效率的考慮，畢竟現在算力還是比較有限的。雖然 ServiceNow 從與 Nvidia 的合作中獲得了一些顯示卡，但在使用上還說很節約的，所以訓練小模型的話，一個顯示卡可以同時支援好幾個模型、好幾個客戶，在成本上會比較最佳化一些，但也會基於開源的模型進行 fine-tuning，把自己的 Gen-AI 資料放進去。

Kewei： 第一個目前比較成熟的就是 summarization，利用 LLM 來總結。

另外一個就是和 chatbot 對話 Q&A，這其實也是 Now Assist 的基礎功能，相比於之前類似的功能，Now Assist 的 Q&A 可以提供更好的使用體驗，不但可以給出結果，還可以直接幫使用者諮詢很多 action，然後直接執行。

其次是內容生成，比如使用者在建立 ticket 的時候，可以把一些繁瑣的步驟全部自動化掉。之前有一個 demo 就是在生成內容的時候，輸入一些基本的東西，Now Assist 就會把基本的內容全部填完，同時寫好一份 summary，非常方便。

最後，我覺得比較好的一點就是工作流的生成，使用者可以寫一段文字，然後由 AI 自動生成工作流。後續的產品會更加先進，比如使用者在白板上畫了一個之前在會議上討論的工作流，可以拍照上傳，由 AI 直接生成一個工作流，這會是更進一步的最佳化。

這些是我覺得目前使用的一些契合度比較高的場景，接下來也會有一些新的場景，但更多是 business intelligence 方向上的，使用者可以直接向 Now Assists 提問來獲得更多資料的 insight，這可能會間接替代一些商業決策中 data analysis 的工作。

除了文字任務之外，workflow 相關的功能也已經比較成熟了，因為企業內部有很多資料，所以也可以利用之前 workflow 的資料來訓練一個基於 workflow 的模型，這個是 Now Assist 的一個優勢，但 BI 方面現在還在開發中。

Kewei：這個產品比較大，涉及到好幾個組。但因為我不是從最上面往下看的角色，所以我也只能分享我這邊接觸到的一些東西。

我個人的理解是：第一，Now Assist 可以非常好地整合到之前的一些操作流程中，所以從客戶角度來說，他們不需要另外花很多資源去培訓、學習這個功能，與 Copilot 有點像，但是可能會更好，很多時候其實或多或少已經整合到系統中去了。比如使用者去看一個 KB （Knowledge Base） 文件，可能就會提示使用者點一下，就可以自動總結出要點，後面還會有一個按鈕，相當於觸發了 Q & A 的模式，這樣的話學習的成本就會很低，很多企業都會願意去試用或者使用，因為效果非常好，而且他們已經不需要再花錢培訓了，所以可能自然而然地就會想要使用這個產品。

另外，雖然 Now LLM 沒有達到 100% 的智慧，但是它現在至少可以達到 70%-80% 的智慧程度，這已經非常不錯了。

Kewei：是我們自己訓練的模型，Now LLM 的模型會負責一些文字上的操作，底層是 Q & A 的模式，是透過企業內部 AI 搜尋來實現，另外就是一個非常複雜的自然語言處理的 embedding 模型，這個模型比較關鍵，因為它會直接影響到問答的效果，以及最終結果。

Kewei：我覺得效率的提升這點是最直接的。客戶衡量的角度包括，一個 case 的處理時間，或者一個使用者在搜尋時得到結果不符情況下花的時間和成本，還有問答本身。從時間上來考慮，這個產品節省的時間可能相對於擔負的成本會更多。

Kewei：ToB 的企業搜尋和傳統的文字搜尋不同。

首先，ToB 的內容更加多樣，除純文字外，還包括更多結構化的文件，比如 office 的 PDF、Outlook 郵件、Confluence 和 SharePoint，這不同於谷歌索引的那種傳統的網頁內容，所以它實現的方式也不太一樣。傳統的企業搜尋效果不是特別好，就是因為這些文件越來越大，所以索引的效果或者收錄的效果都會比較差或者比較慢，而且佔用的資源也比較多。

但我認為 GenAI 圖片在語義搜尋、自然語言處理方面，為企業搜尋提供了一個新的平臺，如果可以利用 GenAI 模型來理解自然語言，在瞭解語義和生成結果方面的效果會非常好。

如果再把這個技術用得更抽象一點，相當於把企業搜尋引擎進化成一個底層的 Vector 的搜尋引擎，還可以利用這個底層的引擎開發更多基於 GenAI 的應用，這也是現在我們公司內部正在實現的一個事情，慢慢地把這個東西抽象出來，變成一個更通用的、可以整合 LLM 的工具。

Kewei：難點有兩個，一是語言模型，也就是對自然語言的理解，以及對結構型文件的匹配，如果一個語言模型不太精確，結果也不會很精確，這一點是我們目前重點在解決的。

另一個是效能，因為模型本身做 embedding 生成向量比較慢，後期再去呼叫 LLM、API 或者 OpenAI API 來生成一個滿意的 summarization 也比較費時間，整體的搜尋時間也會比之前的久，使用者體驗上可能也不會像傳統谷歌的文字搜尋一樣快。

Kewei：我個人理解，創業公司因為比較靈活，可以非常快地迭代或者開發產品功能，使用者體驗也會比較好，因為它的產品足夠新，相當於是重新設計的，做一些改動或者變化會非常簡捷。但劣勢首先是信用方面，也就是品牌認知度，作為初創企業要吸引大企業會比較困難，第二則是在資源方面，因為資源有限，在市場推廣、營銷、客戶支援方面，尤其是在售後支援，如果要吸引大企業，這方面也需要比較大的投資。

老牌企業相對來說資源會比較豐富，信用、品牌認知度也比較有積累，而且客戶積累也是相當關鍵的優勢。如果客戶之前已經部署過安裝了 ServiceNow 的系統，那他們肯定會優先考慮用 ServiceNow 的一些功能，這樣就可以直接整合到他們的日常操作中來。

因為 ServiceNow 的產品本身比較複雜，如果要採用，員工需要進行一定的培訓，只有培訓成熟，才能保證後續的使用效率。其實不管是 Salesforce，還是 ServiceNow，我個人覺得都不是很好用，員工能夠直接上手使用的可能性比較小，因為一些傳統軟體基本的功能比較龐大，所以前期一旦要採用，肯定要花一些時間去培訓公司的員工，但是這個培訓不僅僅侷限於 AI 功能，之前幾十年積累起來的一些軟體功能也需要培訓。

所以如果客戶前面已經投入了很多培訓或者學習，那他們一般不會輕易去換一個新的產品或者公司。

但大企業相對於初創團隊最大的問題就是行動比較慢，在開發新產品或者調整策略方面也會比較慢，這也是為什麼目前 Glean 能夠快速佔領一部分企業市場的原因，而 ServiceNow 在開發、推出新產品、新功能方面相對來說就會比較慢。但其實從今年開始，由於 AI 的緊迫性，我們也在快速地推出產品，所以現在變成了一年 4 次，一般每三個月就會有一個新的 release。

Kewei：這個 AI 搜尋已經是 GA（Generally Available） 的狀態了，現在使用者在 ServiceNow App 裡面點選搜尋圖示去做搜尋的話，後臺其實都是透過AI 進行的，如果在 Now Assist 問問題，後臺其實也是經過 AI 搜尋完成的，但這兩個場景後面其實是不同的 configuration。一個可能是傳統的企業搜尋外加整合 LLM 來提供一個結果的 summarization，另一個是企業搜尋跟 skill 的定義整合起來後，直接呼叫相關的工作流。AI 搜尋其實類似於一個埠，相當於一個入口，後面再根據定義定製、呼叫相關的結果或者相關的 APP。

Kewei：可以，因為 ServiceNow 搜尋的底層還是用的是 Lucene，Elasticsearch 的底層其實也差不多，在底層庫的應用上來構建搜尋的應用，並進一步構建了搜尋引擎。ServiceNow 之所以沒有用 Elasticsearch，是因為 Elasticsearch 控制性不夠，不能完全滿足 ServiceNow 高度定製的需求，所以它相當於收購了之前的一個 AI 搜尋公司，它的優勢是它完全是自主研發的，它的 Lucene 引擎也是自己定製的，所以可以實現各種需求。

現在的一些語義搜尋也是直接在底層 Lucene 上實現的，而不是在 Elasticsearch 上實現的，這樣可以非常靈活地選用模型來計算 Vector，或者在哪一步索引的時候實現安全性，加許可權也非常的靈活。Elasticsearch 目前也有企業搜尋，但主要適用於定製性不是很多的中小企業。如果要完全掌控自己的搜尋引擎還得自己研發。

計算 Vector 是另外的模型，或者是用 GTR，或者是用 E5，看你用哪個語言模型。Vector 搜尋是傳統的 KNN（K-Nearest Neighbor）演算法，這個比較通用、也比較成熟。如果對等路徑一樣，可以透過把兩個 Vector 做一些計算來獲得一些 match。

Kewei：目前來講，搜尋結果只能用內部的一個 Q 組來測試，透過測試和調整來驗證，基本上可以達到某個指標，不過不可能做到 100% 精確，但可能會達到 80%、 90% 的效果。客戶其實會有一定的預期，但是他們不會有 100% 的預期。我個人感覺除非持續地出現一些問題，他們才會反饋，如果只是偶爾出現一些幻覺，他們應該不會太在意。但客觀來說，我接觸到的也不是特別多，我感覺前期出現過一些反饋，我們及時調整了之後，現在已經好多了。

Kewei：我們提供了一個非常強大的配置功能可以對每一個文件或者每一個檔案資料來源設定許可權，哪些 user group 的人可以看這些文件。其實很多這些元資料是使用者傳進去的，傳進去之後，比如你是屬於 group A，如果某些文件明確限制 group A 的人不能看，那你其實是搜不到，如果那些內容不會返回，也就不會體現在最後的結果裡。

Kewei：我個人覺得是受益的，因為我覺得它們是可以整合在一起的，它們生成的一些 action 可以用工作流去實現。因為從內部的實現角度來講，相當於是一個一個的 skill，訓練了一個模型，並給了它很多技能，這個技能其實就是用工作流去實現的，這樣用 Agent 的時候，AI Agent 就會通過後臺返回一些它會的技能，這個技能可以透過事先制定好的工作流去執行，這樣就會非常的自動化和智慧。

而且其實這些目前 Now Assist 已經實現了。根據使用者問的問題，Now Assist 會提供一些選項，讓使用者去執行一些要求。

舉個例子，我們可以在 Now Assist 的 Q&A 中先詢問公司的 PTO （帶薪休假）政策是什麼，它首先會把結果總結給你，而不是像之前那樣提供幾條知識庫連結，除此之外，Now Assist 的 Q&A 還會提供再一個選項，例如“申請 PTO” 或者其他相關 動作？如果點選了“申請 PTO” 的按鈕，那麼後臺就會自動執行這個工作流，直接幫員工完成請假，或者更進一步讓員工先選定時間，再去自動申請 PTO，這些其實已經全部整合在 Now Assist 裡了。

Kewei：目前來講，LLM 在企業搜尋場景中，其實和我們直接向 ChatGPT 提問這種搜尋是不一樣的，這樣的效率會比較低，成本也會比較高。

目前做企業搜尋的公司，比如說 Glean，他們做大模型可能只是做最後的總結體驗，前面的搜尋還是傳統的基於搜尋引擎或者基於 Lucene，或者基於別的 Vector 的一些搜尋引擎來做的，他們可能會用語義搜尋來獲得 5 – 10 個比較好的候選文件，然後把這些文件送給大模型來提煉出一個比較好的答案，這是目前的實現方式。

因為目前會受到算力或者成本的限制，所以這個路徑對企業採用大模型是一個比較最佳化的方案，但是最後提煉結果的效果還是比較好的，相對於傳統的搜尋引擎來講，已經是一個比較大的提升了。

Kewei：因為企業內部的文件資料量其實很大，雖然不能跟 Google 這種通用搜索引擎的的資料量來比，但如果就內部時間而言，需要的硬體資源也很多。如果要在這個基礎上來訓練大模型，成本確實還是很高的。

以目前的條件來講，我們一些客戶內部的 KB 文件可能就有好幾個 T 的儲存量，如果現在就 token 數量去給 OpenAI 或者自己訓練一個模型，成本還是很高的。另外，有些企業可能還會需要一些別的定製，比如有些公司是法律文件，裡面的修改要求很高，這些如果用大模型可能就會不太好。

延伸閱讀