ChatGPT之父首次中國演講：引用《道德經》，稱大國合作才能更好保障AI安全！（附影片&演講稿）

高質量英語演講&專訪影片哪裡看？

請您點選上方“精彩英語演講”，並“設為星標”

全網最新的英語演講&專訪第一時間為您奉上

隨著大模型已成為 AI 產業發展的主導力量，一場學術界和 OpenAI 之間的思辨已經開始。

作為連續舉辦五屆的重要學術性會議，智源大會已經有超過 500 點陣圖靈獎得主的頂尖專家參與。今年則包括圖靈獎得主 Geoffrey Hinton，" 圖靈獎 " 得主、" 深度學習三巨頭 " 之一的楊立昆（Yann LeCun），OpenAI CEO 薩姆 · 奧爾特曼（Sam Altman），中國科學院張鈸院士等 AI 領域重磅人士，共議人工智慧前沿與熱點話題。

6 月 10 日，OpenAI 創始人 Sam Altman 以影片連線的方式現身於中國北京舉辦的 2023 智源人工智慧大會，這是 Altman 首次對中國觀眾發表演講，會上其大談 AI 風險與未來通用 AI 發展模式，直言為了弄清楚通用 AI 技術，OpenAI 必須要推進 AI 研究變革。

Altman 在演講中引用了《道德經》，談及大國合作，表示 AI 安全始於足下，各國間必須進行合作和協調。

Altman 認為，人工智慧爆發式增長的背景下，未來 10 年就可能會出現超強 AI，呼籲全球共同監管，並且在相關的研究部署上對齊，建立全球信任，而 Altman 之所以持續呼籲協同監管，一方面是因為 AI 全球大爆發，另一方面則是因為 " 最小化風險 " 的理念。

對於大模型在實際應用場景中可能存在的錯誤，Altman 的看法是 " 希望在風險較低的時候犯錯 "，然後透過迭代來讓其變得更好，以此來闡釋 OpenAI 的人工智慧迭代理念。

提及超強 AI，此前未來生命研究所曾發起呼籲 " 暫停 GPT-4 以上大模型研發 6 個月 " 的公開信，OpenAI 在這塊的動作，包括後續 GPT-5 的規劃一直是業內關注的焦點，今天的線上問答環節，在被張宏江問及了 AGI 的未來，以及是否會很快看到 GPT-5 時，Altman 稱自己也不確定，但明確表示 GPT-5 的誕生，" 不會很快 "。

關於 OpenAI 是否會提供開源大模型時，Altman 稱 " 會有很多開源大模型 "，但同樣沒有具體的時間表。

OpenAI CEO

在中國的首次演講

↓↓↓ 上下滑動，檢視演講稿 ↓↓↓

今天，我想談談未來。具體來說，就是我們在人工智慧能力方面看到的增長速度。我們現在需要做什麼，為它們引入世界做好負責任的準備，科學史教會我們，技術進步遵循指數曲線。我們已經能從歷史中看到這一點，從農業、工業到計算革命。人工智慧令人震撼的不僅是它的影響力，還有它的進步速度。它拓展了人類想象力的邊界，並且以快速的步伐進行著。

想象一下，在未來十年裡，通常被稱為通用人工智慧（AGI）的系統，在幾乎所有領域都超越了人類的專業水平。這些系統最終可能超過我們最大公司的集體生產力。這裡面潛藏著巨大的上升空間。人工智慧革命將創造共享財富，並使提高每個人生活水平成為可能，解決共同挑戰，如氣候變化和全球衛生安全，並以無數其他方式提高社會福祉。

我深信這個未來，為了實現它並享受它，我們需要共同投資於 AGI 安全，並管理風險。如果我們不小心，一個不符合目標的 AGI 系統，可能會透過提供沒有根據的建議，破壞整個醫療系統。同樣地，一個旨在最佳化農業實踐的 AGI 系統可能會由於缺乏對長期可持續性的考慮而無意中耗盡自然資源或破壞生態系統，影響食品生產和環境平衡。

我希望我們都能同意，推進 AGI 安全是我們最重要的領域之一。我想把我剩下的講話重點放在我認為我們可以從哪裡開始的地方。

一個領域是 AGI 治理，這是一項具有全球影響的技術。魯莽開發和部署造成的事故成本將影響我們所有人。

在這方面，有兩個關鍵要素：

首先，我們需要建立國際規範和標準，並透過包容的過程，在所有國家為 AGI 的使用制定平等統一的保護措施。在這些保護措施之內，我們相信人們有充分的機會做出自己的選擇。

其次，我們需要國際合作來建立對日益強大的人工智慧系統安全開發的全球信任，以可驗證的方式。這不是一件容易的事情。我們需要作為國際社會投入持續而重要的關注，才能做好這件事。道德經提醒我們，千里之行始於足下。我們認為在這裡採取最有建設性的第一步是與國際科技界合作。

特別是，我們應該促進增加透明度和知識共享的機制，關於 AGI 安全方面的技術進展。發現新出現安全問題的研究人員應該為了更大的利益分享他們的見解。我們需要認真考慮如何在尊重和保護智慧財產權權利的同時，鼓勵這種規範。

如果我們做好了這一點，它將為我們開啟新的大門，讓我們能夠加深合作。更廣泛地說，我們應該投資、促進和引導對目標和安全研究的投資。

在 OpenAI，我們今天的目標研究主要集中在技術問題上，即如何讓人工智慧系統作為一個有用和安全的助手，在我們當前的系統中行動。這可能意味著，我們如何訓練 ChatGPT，使它不會發出暴力威脅或協助使用者進行有害活動。

但是隨著我們更接近 AGI，任何不符合目標的潛在影響和程度都將呈指數增長。為了提前解決這些挑戰，我們努力將未來災難性結果的風險降到最低。對於當前系統，我們主要使用來自人類反饋的強化學習來訓練我們的模型，使其作為一個有用和安全的助手行動。

這是後期訓練目標技術中的一個例子，我們也在忙於開發新的技術。要做好這件事情需要很多艱苦的工程工作。從 GPT-4 完成預訓練到部署它，我們花了 8 個月的時間來做這件事。總的來說，我們認為我們在這方面走在了正確的軌道上。GPT-4 比我們以前的任何模型都更符合目標。

然而，對於更先進的系統來說，目標仍然是一個未解決的問題，我們認為這需要新的技術方法，以及更多的治理和監督。想象一下，一個未來的 AGI 系統提出了 10 萬行二進位制程式碼。人類監督者不太可能檢測到這樣一個模型是否在做一些邪惡的事情。

所以我們正在投資一些新的和互補的研究方向，我們希望能夠取得突破。一個是可擴充套件的監督。我們可以嘗試使用人工智慧系統來協助人類監督其他人工智慧系統。例如，我們可以訓練一個模型來幫助人類監督者發現其他模型輸出中的缺陷。第二個是可解釋性。我們想嘗試更好地理解這些模型內部發生了什麼。

我們最近發表了一篇論文，使用 GPT-4 來解釋 GPT-2 中的神經元。在另一篇論文中，我們使用模型內部資訊來檢測模型何時在說謊。雖然我們還有很長的路要走，但我們相信先進的機器學習技術可以進一步提高我們產生解釋的能力。

最終，我們的目標是訓練人工智慧系統來幫助目標研究本身。這種方法的一個有希望的方面是，它隨著人工智慧發展的步伐而擴充套件。隨著未來模型變得越來越聰明和有用作為助手，我們將找到更好的技術，實現 AGI 的非凡利益，同時減輕風險，是我們這個時代最重要的挑戰之一。

Sam Altman 與張宏江實錄

智源人工智慧研究院理事長張宏江：

我們離人工智慧還有多遠？風險是不是很緊迫，還是我們離它還很遙遠？無論是安全的人工智慧，還是潛在的不安全的人工智慧。

OpenAI 創始人 Sam Altman：

這很難評估具體時間。因為它需要新的研究思路，而這些思路並不總是按照規定的日程來發展。它可能很快就會發生，也可能需要更長的時間。我認為很難用任何程度的確定性來預測。

但我確實認為，在未來十年內，我們可能會擁有非常強大的人工智慧系統。在這樣的世界裡，我認為解決這個問題是重要而緊迫的，這就是為什麼我呼籲國際社會共同合作來解決這個問題。歷史上確實給我們提供了一些新技術比許多人想象的更快改變世界的例子。我們現在看到的這些系統的影響和加速度，在某種意義上是前所未有的。所以我認為做好準備，讓它儘快發生，並且解決好安全性方面的問題，考慮到它們的影響和重要性，是非常有意義的。

張宏江：你感覺到了一種緊迫感嗎？

Sam Altman：是的，我感覺到了。我想強調一下，我們並不真正知道。而且人工智慧的定義也不同，但是我認為在十年內，我們應該為一個擁有非常強大系統的世界做好準備。

張宏江：你在剛才的演講中也提到了幾次全球合作。我們知道世界在過去六七十年裡面臨過很多危機。不過對於其中的很多危機，我們設法建立了共識和全球合作。你也正在進行一次全球之旅。你正在推動什麼樣的全球合作？你對目前收到的反饋感覺如何？

Sam Altman：是的，我對目前收到的反饋非常滿意。我認為人們非常認真地對待人工智慧帶來的風險和機遇。我認為在過去六個月裡，這方面的討論已經有了很大進步。人們真正致力於找出一個框架，讓我們能夠享受這些好處，同時共同合作來減輕風險。我認為我們處於一個非常有利的位置來做這件事。全球合作總是很困難的，但我認為這是一種機會和威脅，可以讓世界團結起來。我們可以制定一些框架和安全標準，來指導這些系統的開發，這將是非常有幫助的。

張宏江：在這個特定的話題上，你提到了高階人工智慧系統的對齊是一個未解決的問題。我也注意到開放 AI 在過去幾年裡投入了很多精力。你還提到了 GPT-4 是對齊方面的最佳例子。你認為我們能否透過對齊來解決人工智慧安全問題？或者這個問題比對齊更大？

Sam Altman：我認為對齊這個詞有不同的用法。我認為我們需要解決的是如何實現安全人工智慧系統的整個挑戰。對齊在傳統意義上是指讓模型按照使用者的意圖行事，這當然是其中的一部分。但我們還需要回答其他一些問題，比如我們如何驗證系統是否做了我們想要它們做的事情，以及我們要根據誰的價值觀來對齊系統。但我認為重要的是要看到實現安全人工智慧所需要的全貌。

張宏江：是的。如果我們看看 GPT-4 所做的事情，在很大程度上，它仍然是從技術角度來看的。但除了技術之外，還有許多其他因素。這是一個非常複雜的問題。通常複雜問題是系統性的。人工智慧安全可能也不例外。除了技術方面之外，你認為還有哪些因素和問題對人工智慧安全至關重要？我們應該如何應對這些挑戰？特別是我們大多數人都是科學家，我們應該做什麼？

Sam Altman：這當然是一個非常複雜的問題。我會說沒有技術解決方案，其他一切都很難。我認為把很多精力放在確保我們解決了安全方面的技術問題上是非常重要的。正如我提到的，弄清楚我們要根據什麼樣的價值觀來對齊系統，這不是一個技術問題。它需要技術輸入，但它是一個需要全社會深入討論的問題。我們必須設計出公平、有代表性和包容性的系統。而且，正如你指出的，我們不僅要考慮人工智慧模型本身的安全性，還要考慮整個系統的安全性。

所以，建立安全分類器和檢測器，可以在模型之上執行，可以監控使用策略的遵守情況，這也很重要。然後，我也認為很難提前預測任何技術會出現什麼問題。所以從真實世界中學習和迭代地部署，看看當你把模型放到現實中時會發生什麼，並改進它，並給人們和社會時間去學習和更新，並思考這些模型將如何以好的和壞的方式影響他們的生活。這也很重要。

張宏江：你剛才提到了全球合作。你已經訪問了很多國家，你提到了中國。你能否分享一些你在合作方面取得的成果？你對下一步有什麼計劃或想法？從這次世界之旅中，從你與各種政府、機構、機構之間的互動中？

Sam Altman：我認為通常需要很多不同的視角和人工智慧安全。我們還沒有得到所有的答案，這是一個相當困難和重要的問題。

此外，正如所提到的，這不是一個純粹的技術問題，使人工智慧安全和有益的。涉及在非常不同的背景下了解不同國家的使用者偏好。我們需要很多不同的投入才能實現這一目標。中國擁有一些世界上最優秀的人工智慧人才。從根本上說，我認為，考慮到解決高階人工智慧系統對齊的困難，需要來自世界各地的最好的頭腦。所以我真的希望中國的人工智慧研究人員在這裡做出巨大的貢獻。

張宏江：我明白今天的論壇是關注 AI 安全的，因為人們對 OpenAI 很好奇，所以我有很多關於 OpenAI 的問題，不僅僅是 AI 安全。我這裡有一個觀眾的問題是，OpenAI 有沒有計劃重新開源它的模型，就像在 3.0 版本之前那樣？我也認為開源有利於 AI 安全。

Sam Altman：我們有些模型是開源的，有些不是，但隨著時間的推移，我認為你應該期待我們將來會繼續開源更多的模型。我沒有一個具體的模型或時間表，但這是我們目前正在討論的事情。

張宏江：我們把所有的努力都投入到了開源中，包括模型本身、開發模型的演算法、最佳化模型和資料之間關係的工具。我們相信有必要分享，並讓使用者感覺到他們控制了自己所使用的東西。你是否有類似的反饋？或者這是你們在 OpenAI 中討論的內容？

Sam Altman：是的，我認為開源在某種程度上確實有一個重要的作用。最近也有很多新的開源模型出現。我認為 API 模型也有一個重要的作用。它為我們提供了額外的安全控制。你可以阻止某些用途。你可以阻止某些型別的微調。如果某件事情不起作用，你可以收回它。在當前模型的規模下，我不太擔心這個問題。但是隨著模型變得像我們期望的那樣強大，如果我們對此是正確的，我認為開源一切可能不是最佳路徑，儘管有時候它是正確的。我認為我們只需要仔細地平衡一下。

張宏江：關於 GPT-4 和 AI 安全方面的後續問題是，我們是否需要改變整個基礎設施或整個 AGI 模型的架構，以使其更安全、更容易被檢查？你對此有什麼想法？

Sam Altman：這肯定有可能，我們需要一些非常不同的架構，無論是從能力還是從安全性方面來看。我認為我們將能夠在可解釋性方面取得一些進展，在當前型別的模型上，並讓它們更好地向我們解釋它們在做什麼以及為什麼。但是，如果在 Transformer 之後還有另一個巨大的飛躍，那也不會讓我感到驚訝。而且實際上我們已經在原始的 Transformer 之後，架構已經發生了很大的變化。

張宏江：作為一個研究人員，我也很好奇，下一步的 AGI 研究方向是什麼？在大模型、大語言模型方面，我們會不會很快看到 GPT-5？下一個前沿是不是在具身模型上？自主機器人是不是 OpenAI 正在或者準備探索的領域？

Sam Altman：我也很好奇下一步會發生什麼，我最喜歡做這項工作的原因之一就是在研究的前沿，有很多令人興奮和驚訝的事情。我們還沒有答案，所以我們在探索很多可能的新正規化。當然，在某個時候，我們會嘗試做一個 GPT-5 模型，但不會是很快。我們不知道具體什麼時候。我們在 OpenAI 剛開始的時候就做過機器人方面的工作，我們對此非常感興趣，但也遇到了一些困難。我希望有一天我們能夠回到這個領域。

張宏江：聽起來很棒。你在演講中也提到了你們是如何用 GPT-4 來解釋 GPT-2 的工作原理，從而使模型更安全的例子。這種方法是可擴充套件的嗎？這種方向是不是 OpenAI 未來會繼續推進的？

Sam Altman：我們會繼續推進這個方向。

張宏江：那你認為這種方法可以應用到生物神經元上嗎？因為我問這個問題的原因是，有一些生物學家和神經科學家，他們想借鑑這個方法，在他們的領域裡研究和探索人類神經元是如何工作的。

Sam Altman：在人工神經元上觀察發生了什麼比在生物神經元上容易得多。所以我認為這種方法對於人工神經網路是有效的。我認為使用更強大的模型來幫助我們理解其他模型的方法是可行的。但我不太確定你怎麼把這個方法應用到人類大腦上。

張宏江：好的，謝謝你。既然我們談到了 AI 安全和 AGI 控制，那麼我們一直在討論的一個問題是，如果這個世界上只有三個模型，那麼會不會更安全？這就像核控制一樣，你不想讓核武器擴散。我們有這樣的條約，我們試圖控制能夠獲得這項技術的國家數量。那麼控制模型數量是不是一個可行的方向？

Sam Altman：我認為對於世界上有少數模型還是多數模型更安全，有不同的觀點。我認為更重要的是，我們是否有一個系統，能夠讓任何一個強大的模型都經過充分的安全測試？我們是否有一個框架，能夠讓任何一個創造出足夠強大的模型的人，既有資源，也有責任，來確保他們創造出的東西是安全和對齊的？

張宏江：昨天在這個會議上，MIT、未來生命研究所的 Max 教授（邁克斯 · 泰格馬克，Max Tegmark）提到了一種可能的方法，就是類似於我們控制藥物開發的方式。科學家或者公司開發出新藥不能直接上市，必須經過測試過程。這是不是我們可以借鑑的？

Sam Altman：我絕對認為，我們可以從不同行業發展出來的許可和測試框架中借鑑很多東西。但我認為從根本上說，我們已經有了一些可以奏效的方法。

Sam Altman, the CEO of OpenAI, has called for a global cooperation in setting up the regulatory guardrails for powerful artificial intelligence (AI) systems at an industry forum held in Beijing on Saturday, noting that China can play a significant role with some of its "best AI talent in the world."

"China has some of the best AI talent in the world… given the difficulties solving alignment for advanced AI systems requires the best minds from around the world," Altman said at an industry forum hosted by the Beijing Academy of Artificial Intelligence （BAAI） on Saturday.

Altman predicted that in the next decade, artificial general intelligence systems, commonly called AGI, may surpass human expertise "in nearly every domain," and could eventually exceed the collective productivity of some of the largest companies.

"The potential upside here isn't one. AI revolution will create shared wealth and make it possible to dramatically improve the standard of living for everyone. We must manage the risk together in order to get there," Altman said.

At present, a new round of AI boom triggered by ChatGPT is sweeping the world including China. While people have been thrilled for the productivity improvement that AI can bring, they are increasingly aware of the huge risks, with governments slowly stepping in to harness the powerful yet dangerous tool.

In May, hundreds of industry leaders, including Altman himself, have signed a letter warning that "mitigating the risk of extinction from AI should be a global priority alongside other societal-scale risks such as pandemics and nuclear war." Altman made a point to reference the IAEA, the United Nations nuclear watchdog, as an example of how the world came together to oversee nuclear power.

"We need international cooperation to build global trust in the safe development of increasingly powerful AI systems. In a verifiable way, I have no illusions that this will be easy. We will need to devote significant and sustained attention as an international community to get this right," Altman said.

In a possible indication to the current geopolitical conflict's impact on the global AI cooperation, Altman noted that "great powers may have their share of differences." This is true today, as it has been before. But even during the most difficult times, great powers have found ways to cooperate on what matters. "We see great potential for researchers in the US, China, and around the world to work together to achieve the shared goal."

Altman used an ancient Chinese proverb, "a journey of a thousand miles begins with a single step," in describing how the world should start on the difficult but necessary cooperation.

In talking about the next frontier that OpenAI is engaging on in a later Q&A session, Altman said OpenAI is discussing about opening source more models in the future, but does not have a specific model or timetable.

"Certainly, at some point, we'll try to do a GPT-5 model in the sequence, but not anytime soon and we don't know exactly when," Sam said, adding that he's hoping someday the company can get to return to robotics – a sector the company has worked on at the very start.

The two-day conference hosted by the BAAI has invited leading figures in the industry such as AI "godfather" Geoffrey Hinton and Turing Award winner Yann André LeCun. Apart from exchanging on AI frontiers and technology progress, this year's conference placed a special focus on AI regulation and alignment.

Industry players and experts at the forum have also emphasized on the importance of global cooperation in harnessing the "double-sword" technology, which is especially urgent as the large models are development "too fast."

"We are fully aware of the urgency of AI regulation, but under the current global situation, as some in the US are hyping China threat with AI as a key battleground, global cooperation and an international rule could be hard, though some cooperation might be achievable in certain areas,"Wang Peng, a research fellow at the Beijing Academy of Social Sciences, told the Global Times on Saturday at the sidelines of the event.

Looking ahead, the development of large models and major technological breakthroughs is clearly be related to the life and death of human society, Wang said, noting that it's critical for some nations to drop closed and retrogressive minds of "small courtyards and high walls," join forces together with the rest of the world, and concentrate on overcoming difficulties for the benefit of all mankind.