從管人到管機器人，務必關注這三類問題

AI智慧體的自主性是一個難題。答案並不僅僅取決於風險的大小，更在於我們對風險的理解程度。如果給予的自由度過低，智慧體的能力將僅限於回答基本問題；而如果給予過多的自主性，則品牌、聲譽、客戶關係甚至財務穩定性都將面臨風險。

我們正目睹一場從基礎的人工智慧聊天機器人向真正的認知智慧體（cognitive agent）的革命性轉變——這些系統能夠進行戰略性思考、規劃，並從成功與失敗中學習。

然而，如果我們總是讓人類參與其中，我們便難以真正獲得人工智慧轉型帶來的好處。那麼，我們應給予智慧體多大的自由度呢？令人驚訝的是，答案並不僅僅取決於風險的大小，更在於我們對這些風險的理解程度。如果給予的自由度過低，智慧體的能力將僅限於回答基本問題；而如果給予過多的自主性，則品牌、聲譽、客戶關係甚至財務穩定性都將面臨風險。

一種方法是等待業界就智慧體形成普遍的監管和商業共識。另一種方法則是，對於那些足夠大膽的人來說，可以將不確定性作為一種決策規則，以決定下一步該怎麼做。

智慧體是一種用於執行任務的系統。與聊天機器人不同，它們藉助大型語言模型，協調複雜的活動，包括規劃、推理甚至與其他智慧體的互動，從而解決各類問題。它們可以被視為高效的虛擬同事或一種數字勞動力。不久的將來，數十億這樣的智慧體將融入勞動力隊伍，實質性地改變企業的運作和產出。智慧體的核心目標是完成具體任務，例如：為零售客戶提供個性化建議，或幫助製藥高管篩選臨床試驗的最佳候選人。

智慧體可以成為圍繞各種交易的控制層，取代那些複雜介面和繁瑣工作流程——這些正是企業軟體平臺的特徵。它們的簡單性和實用性將直接挑戰傳統的SaaS供應商，以及那些對它們的快速普及毫無準備的技術領導者。儘管人們對通用人工智慧（AGI）的到來感到焦慮，但這些看似普通的系統可能更值得警惕——它們很快將做出數百萬個微小決策，影響我們的日常生活和工作。

智慧體的自主性是一個難題。如果施加過多的監督，你會失去生產力提升的好處。然而，在許多情況下，監督正是避免災難所必需的。自從生成式人工智慧出現以來，已經有足夠多的演算法失控的例子讓領導者們心生警惕——從汽車經銷商聊天機器人以一美元的價格出售一輛新車，到一家航空公司因人工智慧聊天機器人編造出不存在的政策而被追究責任。

為了避免這類問題，組織正在構建直接連線內部系統和資料的智慧體，新的標準也在不斷湧現。這是一把雙刃劍。如果依賴內部系統和資料，智慧體可能不太會編造資訊。然而，隨著人們對它們的信任度不斷增加，它們在關乎生活的重要決策中的影響力也在迅速擴大，例如批准房屋貸款、分配社會保障、保護關鍵基礎設施免受網路攻擊、招聘或解僱員工，甚至控制致命武器系統等。

解決人工智慧安全問題的一個直接方法是，對於任何可能產生嚴重後果的決策，都要讓人類參與其中。奇怪的是，這種方法可能會導致適得其反的結果。以 Waymo（前谷歌自動駕駛汽車專案）為例，它提供自動駕駛出租車服務。很難想象還有什麼比高速行駛的自動駕駛機器更具風險——它可能在瞬間做出影響他人生命的決策。然而，為道路上的每一種情況都編寫程式，不僅技術上難以實現，還帶來了嚴峻的倫理挑戰。

新技術通常伴隨著倫理挑戰。你可能聽說過那些由“電車難題”所引發的經典哲學困境。這個難題描述了一個場景：一輛失控的電車正朝向綁在軌道上的五個人衝去。司機面臨的選擇是：什麼都不做，五個人將被撞死；或者讓電車轉向，這樣會撞死另一個軌道上的一名路人。這種迫使我們在兩個不理想的結果之間做出選擇的電車難題，可能會在現代世界中變得越來越普遍——不僅在自動駕駛汽車領域，還在其他領域，如醫療資源分配。當決策被委託給機器人計程車而不是人類決策者時，道德困境變得更加複雜。

Waymo非常重視乘客安全。他們有一個名為“車隊響應”的技術運營中心，即時監控乘客行程。然而，當乘客坐的車在停車場裡無休止地兜圈子而不是駛向機場時，安全團隊不會介入並遠端駕駛來解決車輛遇到的問題。相反，Waymo運營人員的角色是回答自動駕駛汽車在模糊情境中應做出何種選擇的問題。在這種情況下，汽車不會停下來，也不會完全依賴人類輸入，而是繼續根據所有可用資訊嘗試導航。大多數情況都由汽車的人工智慧系統自行解決，無需人工干預。

Waymo為什麼會這樣做？從表面上看，頻繁的遠端操作對業務經濟來說將是災難性的（畢竟你得花錢請昂貴的人工智慧工程師來開車）。此外，從運營角度來看，由於延遲問題，遠端駕駛汽車也是不安全的。但在我的觀點中，他們的策略背後有一個更微妙的理由。透過持續為控制車輛的系統提供資料和背景資訊，他們正在訓練智慧體隨著時間的推移變得更加可靠和有韌性。從長遠來看，這將為業務帶來更多的運營優勢。

Waymo的例子在人工智慧安全領域中是反直覺的且頗具開創性的。如果我們將人工智慧的自主性建立在對風險本質的理解上，而非僅僅基於風險的大小，那會怎樣？換句話說，關鍵問題不在於風險有多大，而在於：這種風險是否可以透過獲取更多資料和背景資訊來緩解？

確定AI智慧體自主性時

需要考慮的三類問題

1.複雜問題

複雜問題可能細節繁多且難以處理，但它們也可以被定義和記錄，因此是高自主性、低監督的理想選擇。

例如，當美聯儲調整利率時，銀行通常會使用自動化系統自動調整多個平臺上的資料，包括貸款計算、賬戶餘額和客戶報告，確保它們與新的利率環境保持一致，同時減少耗時的人工工作和潛在錯誤。複雜問題適合基於規則的確定性系統，如機器人流程自動化。一旦設定並執行起來，它們就可以自行運作，只需偶爾檢查是否仍在可接受的引數範圍內執行。

2.模糊問題

模糊問題可能有許多變數，其值不確定，這使得簡單自動化變得困難。然而，由於變數大多是已知的，你可以透過收集更多資料來提高預測結果和做出正確決策的能力。

自動駕駛汽車在道路上遇到意外障礙物就是一個模糊問題的例子，可以透過更多的背景資訊來澄清。其他例子可能包括識別信用卡欺詐或者根據交易和行為資料為銀行客戶分配合適的金融顧問。智慧體並不總是能做出正確判斷，但它們學習速度很快。此外，人類並不像我們應該的那樣天生擅長機率分析。然而，我們擅長的是透過反饋幫助智慧體改進，以便我們能將時間用於更有價值的事情。

3.不確定問題

不確定問題是最具挑戰性的，因為它們難以定義。由於你缺乏對領域本身的瞭解，更多的資料也無法提供幫助。正如美國前國防部長唐納德·拉姆斯菲爾德所說，這些是“未知的未知”。這類挑戰的另一個術語是“棘手問題”，因為它們具有不完整、變化和矛盾的性質。

例如，沒有既定治療方案或可靠檢測方法的大流行病，還有像船隻堵塞蘇伊士運河、紅海船隻遇襲等事件中全球供應鏈的脆弱性，甚至像貧困、氣候變化或無家可歸等長期存在的問題。在面對高度不確定性時，給予智慧體高自主性是危險的，因為它們的訓練資料中幾乎沒有內容可以幫助它們做出良好決策。在這種情況下，人類憑藉適應性、創造力和韌性，能更好地應對這類問題，尤其是在情況失控時。

我們正處於人工智慧發展的轉折點。過去那種單純依靠投入更多資料和計算能力解決問題的方法，正在面臨瓶頸。未來將屬於那些能夠在推理過程中即時思考，而不僅僅依賴於訓練資料的智慧體。然而，這裡也有一個挑戰：為了變得更強大，這些智慧體也需要在現實世界中自由學習和成長的空間。

智慧體的未來取決於我們構建可信賴系統的能力。這類系統需具備大規模決策及執行能力，無論決策源自人類還是機器。對於技術專家而言，這意味著要跳出單純實施技術防護措施的侷限，從更廣闊視角審視人工智慧治理。英偉達執行長黃仁勳曾形象地指出：“未來，每家公司的資訊科技部門，都將轉型為專為智慧體服務的人力資源部。”

設計有效的智慧體與成為更好的領導者並沒有太大不同。做出正確決策固然重要，但更有價值的是能夠從組織層面思考決策過程。我們不應只關注特定決策的結果，而需要改進評估和執行決策的整體過程。這種方法將責任從個別決策者轉移到設計和管理人工智慧系統的人身上，有可能在組織內引發文化變革——遠遠超出單純的流程改進。

關鍵詞：智慧體

邁克·沃爾什（Mike Walsh）| 文

邁克·沃爾什是Tomorrow公司的執行長，也是《演算法領導者：當機器比你更聰明時如何保持明智》一書的作者。

Kimi、豆包 | 譯周強 | 編校