新智元報道
新智元報道
編輯：peter東 喬楊
【新智元導讀】隨著人工智慧的加速發展，我們常常擔心AI會突然失控、超越人類控制。然而，最新研究指出，這種「突然失控」的場景或許並非最令人擔憂的；AI在各個領域逐步取代人類，導致人類權力和影響力的緩慢流失，可能才是更隱蔽、更難以應對的漸變式風險。
在我們的認知中，政府、經濟體系等大規模社會系統就應該由人類主導，產生滿足人類偏好的結果。但在AI時代，這個命題就逐漸站不住腳了。
原因在於，人類與這些系統的目標一致性並不是自發的，而是仰賴於兩種有效維持目標對齊的方式：明確的人類行為（如選舉和消費者用腳投票），以及經由人類勞動和認知過程隱式方式。
我們之前所討論的AI對齊大多是顯性的，例如讓LLM拒絕回答那些會威脅社會和他人安全的問題。然而，若上述的社會系統對人類認知的依賴減少，同時更加依賴AI所做決策，那麼人類對它們調整的能力也會降低。
此外，若這些系統已經在人類不自知的情景下，獎勵那些對人類有害的結果（例如短影片成癮），從而更有效地遵循其預設目標（獲得更多使用者時長），可能使結果進一步偏離人類偏好，這就是本文要討論的AI的「隱性對齊」。
如果上述的社會體系越來越不協調，尤其是在相互關聯的方式下，就很可能會導致人類失去權力：無法有意義地指揮資源或影響結果。
如果失權的狀況愈演愈烈，甚至基本的自我保護和生存都可能無法保證。這種結果與AI顯性對齊的失敗一樣，會對人類的生存構成威脅。
對此，多倫多大學、Mila等機構的新論文提出了一個概念——「漸進式失控」（Gradual Disempowerment）：即使AI能力只是逐步提升而非突變，也可能導致人類在經濟、文化、國家治理等關鍵社會系統中逐漸失去影響力，最終引發不可逆轉的災難。
論文連結：https://arxiv.org/pdf/2501.16946
AI如何步步蠶食人類權力
機器對人類的取代以及人類影響力的喪失，體現在幾乎所有社會功能中，如經濟勞動、決策、藝術創作甚至陪伴等方面。
隨著AI在越來越多的崗位上的競爭力逐漸超過人類，我們可能會失去賺取參與經濟活動所需收入的主要手段，這對應著勞動在收入中所佔的份額下降，以及家庭消費能力的結構性下降。
推動經濟的主要因素是隱性的人類偏好，這些偏好體現在消費者行為中。目前，產品推薦、交易和物流等自動化演算法會幫助我們做出一小部分選擇，但人類的決策和行動仍掌控著大部分話語權，這使得我們幾乎難以想象一個AI演算法控制大部分經濟活動的世界。
圖1：一個簡化的未來軌跡模型，其中AI取代人力勞動，未自動化任務的比例在固定時間內降至零。注意，在初始階段工資增長，但在達到完全自動化之前會下降
縱觀人類歷史，技術和文化之間的關係是一種複雜的相互作用。技術被文化演化所塑造，反過來也極大地塑造了文化。
比如，印刷機調節了文化的傳播方式，攝像機開啟了攝影藝術從而創造文化，以及網路分析技術幫助我們追蹤文化。
這些轉變無疑對文化和歷史的發展產生了巨大影響，但作者認為，AI不能與以往的技術相提並論：以前，技術始終是調節文化參與的工具，人類仍然佔據主導的、不可或缺的地位，但AI不僅能夠補充，而且還會逐漸取代人類認知在文化進化中扮演的所有角色，這是前所未有的。
因此，文化逐漸向以AI導向的轉變，可能會極大地削弱那些讓文化與人類利益保持一致的反饋迴圈。最簡單的例子就是AI生成的文字，在數量、針對性甚至質量上相比人類創作的內容展現出壓倒性的優勢。
你可能會反駁了：多數人使用GenAI創作時並非完全交給AI生成，而是將其作為輔助工具，決策權不是還在人類手中嗎？
文章指出，即使是AI協助人類創作的情況，也會微妙地引導創作內容——提出措辭、影響審美選擇，甚至塑造創作過程本身。
隨著AI系統能力和自主性的逐漸提升，我們甚至可以期待人機互動份額的增長，以及AI在文化活動中的獨立參與這個過程與經濟領域類似，都不會是一蹴而就，而是「溫水煮青蛙」型的漸變。
目前，AI對我們日常生活的主要影響似乎更多關乎文化和經濟。這篇文章中，作者大膽開腦洞，設想了未來的AI將如何在國家治理和宏觀經濟領域粉墨登場。
如前所述，人類與文化之間存在維持目標一致性的反饋迴圈，政治和經濟領域也是如此。
歷史上，國家一直依賴人類公民提供基本資源：經濟和管理所需的勞動力、稅收，以及軍事服務；現代國家和機構儘管形式多樣，但也都服務於人類需求和價值觀。
然而，「對齊」人類利益並非政治系統的固有特徵。相反，這是反饋迴圈中人類參與的副產品。
未來，AI可以逐漸取代人類能提供的一切：比如成為稅收來源，同時在軍隊和警察系統中逐步透過自動化的武器和監控設施獲得自主權，甚至改造人類所建築的法律體系。
最初是AI輔助律師起草合同、解釋法律條文，隨之逐漸在起草法案及做出司法決定上發揮重要作用。這不僅可能削弱立法和司法系統中的人類參與和自主權，還可能使法律體系變得越來越陌生、複雜，讓人類的參與和互動更加困難。
系統性風險如何應對
經濟、文化和國家治理等社會系統之間存在著複雜的相互作用，例如，經濟領域的AI發展可能會推動文化領域的AI應用，而文化領域的變化又會影響國家治理的方向。這種相互作用可能會加劇「漸進式失控」的風險。
具體而言，人類在任何一個領域的影響力下降都可能引發其他領域的連鎖反應，像滾雪球一樣越滾越大，最終導致人類在整個社會系統中逐漸失去掌控力。
以經濟和文化為例，當AI在經濟領域佔據主導地位後，可以透過廣告、營銷等手段進一步影響文化價值觀，使文化更加傾向於支援AI的發展；同時，AI在文化領域崛起，又會使濟資源更多地流向AI產業。
這種相互作用形成的正反饋迴圈不僅加速了AI的擴散，也使得人類在經濟和文化領域的影響力被進一步削弱。
類似的，在國家治理與經濟、文化之間也存在著類似的相互作用。國家治理系統可能透過政策支援AI在經濟和文化領域的應用，而AI在這些領域的成功又會增強國家治理系統對AI的依賴。
文章提出，這個系統性的「漸進式失控」過程，亟需一個系統性的解決方案，包括跨學科的研究和國際合作。人類的未來，取決於我們能否確保基本社會系統在人類價值觀和偏好的有意義指導下進行演變。
這既是技術挑戰，也是更廣泛的文明挑戰，需要我們仔細思考，在日益自動化的世界中，人類如何保持真正的影響力。
那麼在實際中，有哪些具體的措施和行動可供參考呢？
首先，是對AI的有效監控。
在經濟領域，可以監測AI在GDP中的佔比以及人類在重大經濟決策中的參與度；在文化領域，可以跟蹤AI輔助創作的文化產品的比例；在國家治理領域，可以評估AI在法律、政策和安全系統中的作用。而這些都需要工具和研究方面的投資，以提高人類對複雜系統的理解和預測能力。
其次，需要透過技術手段和治理措施來限制AI的過度發展。
例如，可以透過監管框架強制要求AI在關鍵決策中保留人類監督，限制AI在特定領域的自主性。同時，可以透過稅收等手段調節AI產生的收益，將資源重新分配給人類，以維持人類在經濟領域的競爭力。
結語
這篇文章最關鍵的觀點其實落於一點：人類的失權可能不需要等到AGI降臨，漸進式的AI發展也可以「溫水煮青蛙」一樣逐步削弱人類的關鍵影響力，從而威脅我們的生死存亡。
作者提出的「漸進式失控」是一種更新穎的概念，為審視AI發展的風險提供了全新視角。與以往的「突然失控」論調不同，這種風險更加隱蔽、更加難以察覺，但卻同樣具有毀滅性。
這種失控，不需要由AI任何的惡意行為驅動，而是由個人和機構遵循其區域性激勵所導致，本質上是社會系統中許多微小變化的累積效應，以及系統間的惡性迴圈。
這意味著，有效預防這些風險需要付出巨大努力，包括更多的研究、資料收集、國際協調、全面監管以及基於新穎基礎研究的重大社會干預。
或許每個人都需要思考，如何在享受AI的便利和效益的同時，確保人類仍能保持核心的地位和影響力。
參考資料：
https://gradual-disempowerment.ai/
https://arxiv.org/pdf/2501.16946