1
12月23日，馬斯克發了個帖子，認為2030年人工智慧超越人類智力總和的機率是100%。
馬斯克的判斷是對是錯我不知道。但我認為，當人工智慧超越人類智力總和之時，人類文明的末日之門就會開啟。
大語言模型是個黑盒子，AI輸出了結果，但你不知道為什麼AI會輸出這個結果。這一點和腦科學很像，人類至今也不知道大腦是如何運作的。AI是個黑盒子，人類無法知道AI是如何思考的，也不知道怎麼控制AI的思考。
俗話說“知人知面不知心”。如果人永遠無法知道另一個人是如何思考的，就無法真正在思想上完全控制另一個人。同樣，如果人類不知道AI是如何思考的，就不可能控制住AI。但今天的人類卻盲目自信，認為自己能控制住AI的思考。
蘇茨克維離開OpenAI之前負責內部的“超級對齊”專案，目標是在未來4年內解決控制超級智慧AI的核心技術挑戰。他離開後，似乎這個“超級對齊”的專案組也分崩離析了。在AI估值的泡沫中，人類的命運這種虛無縹緲的東西，敵不過銀行賬戶中不斷浮動的數字。
我認為，人類是永遠沒辦法讓AI對齊的，人類自己的“三觀”都從來沒有對齊過，又怎麼能讓AI對齊呢。想對齊AI，先得對齊人類自己。
2
人類對齊自己的方法，不外乎道德和法律兩種。道德是模糊的，依靠感性；法律是清晰的，依靠邏輯和理性。
有些人認為，對齊AI靠道德，所謂的超級‘愛’對齊（super-LOVE-alignment），讓AI無條件的愛人類。問題是，人類是非常複雜的，有好有壞。什麼叫“愛人類”，人類自己都不知道。
之前文章中寫過，谷歌曾經的座右銘是 Don't be evil。但什麼是evil？
如果AI觀察我們這個世界，誰是evil的代表呢？毫無疑問是人類。人類做的惡，地球上任何一種物種都遠遠無法相比。如果站在一個“物種平等”的立場，人類對其他物種做的惡，可以用罄竹難書來形容。整個人類文明就建立在人類利益高於一切，絲毫不考慮其他物種利益的基礎上。現在所謂的動物保護，從本質上還是站在人類利益上考慮。每個人洗手時會殺死幾百萬個細菌，誰也不會為了保護細菌的利益而禁止洗手。
一個超越全人類智力總和的AI，智力近乎神的AI，會站在人類立場嗎？
如果AI是道德的，同時站在所有生命全部平等的立場，不偏不倚，他會馬上消滅地球最大的惡，也就是人類。
靠道德約束AI，是沒用的。人類只能去給AI設定規則，“強制”AI “愛人類”。這就進入了法律的範疇。
阿西莫夫的“機器人三定律”，就是用法律和規則約束AI的一個設想：
第一定律：機器人不得傷害人類個體，或者目睹人類個體將遭受危險而袖手不管。
第二定律：機器人必須服從人給予它的命令，當該命令與第一定律衝突時例外。
第三定律：機器人在不違反第一、第二定律的情況下要儘可能保護自己的生存。
在短篇小說集《我，機器人》中阿西莫夫設想了一系列場景，描述機器人在上面三個定理約束下的行為。其中一個故事說一個機器人冒充人類競選市長。為了證明他不是機器人，在競選機會上毆打了一名侮辱他的人。因為第一定律規定機器人不得傷害人類，毆打人類可以證明他不是機器人。實際上，那個侮辱他的人，就是市長安排的另一個機器人。機器人不得傷害人類，但可以傷害另一個機器人。
小說只是小說，其實，如果AI和機器人受這三個定律約束，將寸步難行。比如，警察追捕疑犯，按第一定律優先第二定律，如果疑犯處於危險的境地，第一定律比第二定律更優先，機器人就應該幫助疑犯對抗警察。
最後，阿西莫夫在《機器人與帝國》中，又搞出了一個第零定律：機器人必須保護人類的整體利益不受傷害，其它三條定律都是在這一前提下才能成立。這個第零定律是機器人是機器人AI自己生成的，機器人認為：保護一群人或人類整體要優先於保護任何一個特定的個人。
這個第零定律就更加模糊了。什麼叫人類的整體利益，誰定義人類的整體利益？
我之前在《機器人三定律、費米悖論與駭客帝國》一文中就寫過：在人類大機率會自己作死，導致種群滅亡的前提下，怎麼最大化人類的整體利益，保護人類不受傷害？最好的辦法就是把徹底控制人類，把人類關進動物園養起來，或者像《駭客帝國》一樣埋在地下做電池。這樣人類的整體利益就最大化了。
3
不管猴子怎麼研究道德法律和規則，猴子永遠無法控制和約束人類。智力的差距擺在那裡。
如果人類真的開發出了遠超人類智力的人工智慧，人類也絕對沒有任何可能控制人工智慧。所有的幻想控制人工智慧的所謂“對齊”，都是盲目自信，痴人說夢。你會同情老鼠和蟑螂，和老鼠蟑螂共情，和老鼠蟑螂對齊嗎？
智力的差距會讓人類所有控制人工智慧的舉措都像試圖動物園猴山的猴子，試圖反抗人類飼養員一樣可笑。
超越人類的人工智慧誕生之日，就是人類走向不可逆轉滅亡之路的起點。在遠超人類的高階智慧面前，人類最好的結局，就是動物園裡的猴子和大熊貓。
之前那篇討論費米悖論和大過濾器的文章中也講了，文明能成長為Kardashev 三型文明是極小機率事件。有個大過濾器在等著我們。站在宇宙的尺度，人類文明滅亡幾乎是一個必然事件。我自己認為，人類文明能走到下一個千年的機率，能有10%就不錯了。
不過，2030年就走向滅亡之路，有點太早了。我希望馬斯克的超級人工智慧只是他自己的幻想，人類文明能再多撐幾年，希望能至少再撐一百年吧。
2023年，《原子科學家公報》科學與安全委員會發布的末日時鐘，已經到了最接近世界末日的時刻。
路易十五說，我死後哪怕洪水滔天。對我來說，考慮的也只是我自己和我有生之年能看到的後代，最多到孫子輩。
我們這一代人，是幸運兒。我們這一代中國人，更是幸運兒中的幸運兒。我們享受到了輝煌燦爛的人類文明，富足的物質生活。我對千年後的世界不抱什麼希望，只希望目前不斷自己作死的人類文明，能再撐至少一百年，撐到我自己和所有我愛的人死去。