ChatGPT的底層技術即將改變世界

轉載: WSJ

【寫在開頭】

最近微信推薦機制調整了，可能有些朋友會收不到我們的推送，大家別忘了給視角學社加上星標，以免錯過更多精彩！

直播預告

正文

聊天機器人只是開始，“transformer”將帶來一系列重要得多的應用。我們將見證人工智慧在環保、醫療、自動駕駛等諸多領域大放異彩。

圖片來源：ELIOT WYATT

人工智慧（簡稱AI)革命的範圍將拓展到聊天機器人以外的廣闊領域。

從能夠降解塑膠的新型細菌到癌症新療法，再到家務機器人和自動駕駛汽車，作為ChatGPT的驅動引擎而嶄露頭角的生成式AI技術即將改變我們的生活，產生比聊天機器人重要得多的突破。

在當前這波AI熱潮中，我們往往把AI等同於能寫、能說、能程式設計、能拍照的計算機，這些表達形式大都建立在一種被稱為“transformer”的底層技術之上，而這種技術的應用範圍比我們所想象的要廣泛得多。

谷歌的研究人員在2017年發表的一篇論文中首次宣佈了“transformer”這一技術，後者是一種AI演算法，能讓計算機理解任何資料集（無論是文字、駕駛資料，還是蛋白質中的氨基酸）的底層結構，從而自行生成類似的輸出。

這種演算法為OpenAI兩年前推出的ChatGPT奠定了基礎，現在，一系列公司正在研究如何以新方式利用這一創新，例如，Waymo嘗試將其應用於無人駕駛出租車，而一家名為EvolutionaryScale的初創生物公司正在利用人工智慧系統設計新的蛋白質分子。

這項突破的應用範圍非常廣泛，谷歌的研究發表七年以來，已被其他學術論文引用了逾14萬次。

毫不誇張地說，正是由於這一系列演算法，英偉達(Nvidia)現在才成為全球價值最高的公司，資料中心才會在美國和全球各地如雨後春筍般拔地而起，讓電力消費和電價水漲船高，AI公司的執行長們也才會經常（也許是錯誤地）宣稱，可與人類媲美的AI指日可待。

從文字翻譯到萬能學習者

人類的活動一直建立在確信宇宙中充滿潛在秩序的理念之上 ——儘管人們對這種秩序是否源自神靈存在爭議。從某種意義上說，現代AI再次驗證了哥白尼以來每一位科學家的想法。

現代AI一貫擅長從資訊中識別規律。但以往的方法嚴重限制了AI發揮的作用。以語言為例，大多數AI系統一次只能處理一個詞語，而且只能按照讀取順序對詞語進行評估，這就限制了AI系統理解語義的能力。

撰寫2017年那篇開創性論文的谷歌研究人員聚焦語言翻譯的過程。他們認識到，如果AI系統能夠消化一篇文章中的所有詞語，對其中一些詞語的含義給予更多重視（換句話說就是結合語境閱讀），就能產生更好的翻譯。

例如，在“I arrived at the bank after crossing the river”（譯者注：意為“我過河後到達了河岸/銀行”，句中“bank”一詞的釋義既有河岸，也有銀行）這個句子中，基於“transformer”系統的AI如果知道句子以“河”而不是“道路”結尾，就能夠把“bank”譯為“岸”，而不是譯為“銀行”。

非營利組織Allen Institute for Artificial Intelligence研究AI的科學家蒂姆·德特默斯(Tim Dettmers)表示，換句話說，“transformer”的工作原理是弄清系統接收的每一條資訊與其他各條資訊之間的關係。

EvolutionaryScale開發出的一個處於概念驗證階段的分子功能類似於讓水母發光的蛋白質，但其由AI創造的序列與自然界創造的任何序列都截然不同。圖片來源：EVOLUTIONARYSCALE

對語境的深度理解使基於“transformer”的AI系統不僅能夠識別規律，而且能夠對接下來可能出現的情況作出合理預測——從而自己生成新的資訊。這種能力還可以延伸到文字以外的資料。

“從某種意義上說，這些模型在發現數據的潛在結構，”EvolutionaryScale的首席科學家亞歷山大·裡夫斯(Alexander Rives)說。亞歷山大去年與人共同創立了EvolutionaryScale，之前他在Facebook的母公司Meta Platforms從事AI領域的工作。

EvolutionaryScale正在根據該公司研究人員所掌握的每種蛋白質序列的公開資料以及現已瞭解的與這些蛋白質有關的資訊，對AI進行訓練。他的AI系統能夠在無需人類工程師協助的情況下，利用這些資料來確定某種分子構件序列與由此產生的蛋白質的實際功能之間的關係。

谷歌AI業務主管德米斯·哈薩比斯(Demis Hassabis) 正是憑藉就這一主題開展的較早的研究與其他科學家共同獲得了2024年諾貝爾化學獎，而他們的研究更側重蛋白質的結構而非功能。哈薩比斯及其團隊所開發的名為AlphaFold的系統也基於“transformer”。

EvolutionaryScale已經開發出一個處於概念驗證階段的分子。這是一種蛋白質，功能類似於讓水母發光的蛋白質，但其由AI創造的序列與自然界創造的任何序列都截然不同。

EvolutionaryScale的最終目標是讓各種公司（從生產新藥的製藥公司到研究新型酶的合成化學公司）都能利用他們的技術研發出原本不可能生成的物質。這其中可能包括帶有能消化塑膠的新型酶的細菌，或針對不同病人的特定癌症量身定製的新藥。

從聊天機器人到真正的變革者

卡洛爾·豪斯曼(Karol Hausman)的目標是創造出一種能夠驅動任何機器人的通用AI。“我們希望建立一個模型，可以控制任何機器人完成任何任務，包括現有的所有機器人和有待開發的機器人，”他說。

豪斯曼位於舊金山的初創公司Physical Intelligence成立還不到一年時間，而豪斯曼本人曾在谷歌的AI部門DeepMind工作。他的公司一開始是做一種與訪問ChatGPT時所使用模型相同的大語言模型。這些語言模型的最新版本還結合了影像，而且可以處理影像。它們是豪斯曼的機器人據以運轉的關鍵。

在最近的一次演示中，一對由Physical Intelligence技術驅動的機械臂完成了被視為所有機器人技術中難度最高的任務之一：迭衣服。待迭的衣服可能是任何形狀，要完成這項任務，需要有驚人的靈活度和敏捷度，因此，機器人專家無法事先編排出一連串的動作，準確地告訴機器人如何移動四肢來取衣服和迭衣服。

Physical Intelligence的機器人可以從烘乾機中取出衣服，並將衣服迭得整整齊齊，它所使用的系統僅僅依靠消化海量資料，而不需要人類輸入任何指令，便學會了如何自行完成這項任務。這項演示以及其他類似演示給人留下了深刻印象，本月早些時候，該公司從包括傑夫·貝佐斯(Jeff Bezos)和OpenAI在內的投資者處籌得4億美元。

麻省理工學院的研究人員拍攝了幾段普通機械臂把狗食放進碗中的影片，然後用這些影片來訓練另一個由AI驅動的機器人完成類似任務。圖片來源：LIRUI WANG, XINLEI CHEN, JIALIANG ZHAO, KAIMING HE

今年10月，麻省理工學院(Massachusetts Institute of Technology)的研究人員宣佈，他們正在試圖採用一項基於“transformer”的類似策略來創造機器人大腦，這種大腦可以從各種來源獲取大量資料，然後在各種環境中靈活執行。舉例來說，研究人員拍攝了幾段普通機械臂把狗食放進碗中的影片，然後用這些影片來訓練另一個由AI驅動的機器人完成類似任務。

讓機器人來開車

與機器人技術領域一樣，開發自動駕駛汽車的研究人員和公司也在摸索如何使用基於“transformer”的“視覺語言模型”，這種模型不僅能夠處理和整合語言，而且能夠處理和整合影像。

總部位於加利福尼亞州的Nuro、總部位於倫敦的Wayve，以及谷歌母公司旗下的Waymo都在使用這些模型。

這與“transformer”之前實現自動駕駛的方法不同，之前的方法是將人類編寫的指令與較老的AI模型結合起來處理感測器資料，以識別道路上的物體。而基於“transformer”的新模型本質上是一種捷徑，可以讓自動駕駛系統獲得以前很難獲得的關於現實世界的一般知識。

例如，Waymo的研究人員在最近的一篇論文中展示瞭如何使用谷歌自己的商用AI系統Gemini，讓Waymo的自動駕駛系統有能力識別和避讓未對系統進行過訓練的物體，例如過馬路的狗。

Wayve的一輛自動駕駛汽車。這家總部位於倫敦的公司是使用新的人工智慧技術來幫助其自動駕駛汽車處理預料之外情況的公司之一。圖片來源：WAYVE

04 幫助人類而不是取代人類

德特默斯說，這些系統雖然強大，但仍有侷限性和不可預測性，這意味著它們無法完全取代人類的工作。

例如，作為EvolutionaryScale核心技術的AI可以為人類在實驗室中嘗試新分子提出建議，但人類仍需要合成和測試這些分子。基於“transformer”的模型還遠不夠可靠，無法完全取代人工駕駛。

另一個侷限是，AI模型能達到的聰明程度要取決於訓練資料。像OpenAI這樣的大語言模型已經開始受到世界上現有可用書面文字數量的制約——這還是在網際網路上充滿大量文字的情況下。要讓機器人或自動駕駛汽車以這種方式學習，就需要讓它們透過大量資料來了解，在現實世界中嘗試操作時會發生什麼——這也是目前各大公司競相獲取此類資料的原因之一。

這些侷限性在Physical Intelligence的機器人身上體現得很明顯。雖然該公司的系統已經自己學會了迭衣服，但它在來你家幫你迭衣服之前，必須先根據你家的具體情況重新學習這一過程。這需要工程師投入大量時間來訓練模型，還需要花費大量金錢。

“我想確保自己設定合理的期望值，”執行長豪斯曼說。“我們為自己的成就感到自豪，但我們仍處於起步階段。”

直播預告