家人們！最近奶茶發現一篇看起來非常有意思的論文！
你們有沒有想過，咱們的大腦一輩子到底能“裝”下多少知識？
最近，加州理工學院算出了人類學習的“終極天花板”——
就算你是個卷王之王，24 小時不眠不休、過目不忘地學上一百年，知識儲量也只有區區4GB！
（比你微信聊天記錄的臨時快取可能還要少）
走，一起看看這神奇的研究是怎麼算出來的！
我們大腦處理資訊的“網速”有多快？
簡單來說，要計算人一輩子能學多少知識，得先從大腦處理資訊的速度入手。這就像給大腦測網速，看看它的“下載”和“處理”能力。
研究團隊運用資訊理論的框架（基於夏農熵和互資訊），去測量我們在做各種事情時，大腦處理資訊的速率。他們觀察了從日常到極限的各種活動： 打字、說話演講、盲擰魔方等。
以打字為例，通常情況下，高階打字員每分鐘能打 120 個單詞，每秒 2 個單詞，假設平均每個單詞包含 5 位元的資訊量，那麼資訊傳輸速率就可以計算出約為 10 位元/秒。
而其他的例如感知、動作和認知等任務速度也基本在 10 位元/秒的區間：
-
打字：以高階打字員的打字的資訊速率約為 10 位元/秒（考慮到英語的冗餘性，每字元約 1 位元）。 -
盲解魔方： 以世界競賽中最好的紀錄成績為例，觀察階段的資訊速率約為 11.8 位元/秒，表明感知和動作輸出與觀察階段速率相當。 -
記憶競賽： 即使大腦飛速運轉記牌，資訊速率依然接近 10 位元/秒，例如快速卡片任務約為 18 位元/秒。 -
電競高手務： 比如電子競技的《星際爭霸》，操作拉滿，資訊速率大約 10-16.7 位元/秒。
這些場景下人類行為的資訊吞吐量普遍在 10 位元/秒左右。
如果按照這個速度來計算的話，全年無休 24 小時不停學習，而且擁有完美的記憶力，一點都不會忘，這樣堅持 100 年：
-
一年大約有 31,557,600 秒。 -
一百年就是 3,155,760,000 秒。 -
乘以每秒 10 位元的資訊處理速度…… -
再換算成我們熟悉的 GB (1 GB = 80 億位元)……
結果就是：大約 3.94 GB。
這麼少？我眼睛一睜，看到的世界、耳朵聽到的聲音，資訊量絕對不止這麼點啊。
那就有一個問題：我們每天接收的海量資訊去哪了？
這其實是因為我們獲取資訊的速度， 和我們“消化”資訊的速度， 完全是兩碼事。
人類感官的收集速度是多少？
人類的感官系統就像超級接收器，以驚人的速度從環境中收集資料，以最常用的接收資訊的視覺系統為例，其資訊採集速率遠超行為吞吐量，達到了 Gbps 級別。
根據過去的研究表明，單個視錐細胞的資訊傳輸速率約為 270 bits/s。 考慮到人眼大約擁有 600 萬個視錐細胞， 僅雙眼視覺系統的資訊輸入速率就高達 3.2 Gbps (計算方式： 270 bits/s/細胞 * 6,000,000 細胞 * 2 ≈ 3.2 x 10⁹ bits/s = 3.2 Gbps)
人類感官輸入速率與行為資訊吞吐量之間的比例約為 3.2 Gbps : 10 bits/s ≈ 3.2 x 10⁹ : 10 ≈ 3.2 x 10⁸ ≈ 10⁸ : 1。
那為森麼速度差距這麼大呢！
研究團隊在論文中分析：人類大腦資訊處理速度“慢” 的核心原因， 可以歸結為 “序列處理” 和 “進化遺留”。
首先，我們的大腦中樞在處理資訊時，更傾向於“序列”方式，也就是一件事情一件事情地處理，沒法像感官系統那樣“並行”處理大量資訊。
其次，這種 “序列” 模式可能與早期神經系統的功能有關， 最初的大腦可能只需要處理一些簡單的、線性的任務， 進化就“保留”了這種處理模式。 儘管大腦後來變得更復雜，但這個早期的 “序列” 架構仍然限制著我們現在的資訊處理速度。
簡單來說， 就像我們的大腦習慣了“排隊”處理資訊， 而不是“多線並行”， 所以速度就慢下來了。 當然， “注意力瓶頸” 也可能是另一個限制因素。
“注意力瓶頸” (Attention Bottleneck) 是認知心理學和神經科學中一個非常重要的概念，指的是我們的大腦在處理資訊時，尤其是在進行有意識的、需要注意力的資訊加工時，存在一個容量限制，就像一個瓶頸一樣，限制了我們同時處理的資訊量。
人類學習這麼慢，會被大模型超越嗎？
那人類為何能夠僅憑 10 位元/秒的速率生存？
研究團隊的答案是：可以的。
因為我們的祖先選擇了一種生態位，那裡的世界變化足夠緩慢，使得以這種認知速率生存成為可能。
事實上，只有在最壞的情況下才需要 10 位元/秒的速率，在大多數時候，我們所處的環境變化節奏要悠閒得多。
這在一定程度上解釋了青少年普遍認為 “現實世界枯燥乏味”的觀點，促使他們轉而在快節奏的電子遊戲中尋求慰藉。 前幾代人也不例外——他們轉而尋求高速運動的刺激，例如滑雪或山地腳踏車。 日常任務對於這些尋求刺激的人來說顯得難以忍受的緩慢，因此將自身推向認知吞吐量的極限，本身就是一種令人愉悅的體驗。
那麼，這種相對較低的認知速率在自然界中究竟處於何種水平？
為了提供參照，研究團隊列舉了果蠅作為對比，其行為資訊吞吐量僅為 0.62 位元/秒。
那和未來最有潛力替代人類的大模型做個對比呢？
根據華人學者朱澤園發表的論文《Physics of Language Models: Part 3.3, Knowledge Capacity Scaling Laws》中所述，大語言模型每個引數就能儲存 2bit 知識，一個 70 億引數的模型就能儲存 140 億 bit 的知識。
我們從維基百科頁面中提取知識圖譜三元組，例如（美國，首都，華盛頓特區），並將其表示為元組形式。透過多個受控資料集，我們證實，即使在量化為 int8 的情況下，大語言模型也僅能且只能儲存每個引數 2 位元的知識。而且，這些知識可以被靈活地提取出來，應用於各種下游任務
由此顯著的速度對比，研究者們得出結論： 隨著算力的不斷躍升，機器在多項任務上超越人類，可能只是時間問題。
馬斯克的腦機介面能提速嗎？
研究團隊銳評了一下埃隆·馬斯克的腦機介面專案 Neuralink：
指出馬斯克構建高頻寬腦機介面的出發點，在於其認為生物肉體頻寬限制了資訊處理能力。
馬斯克曾表示：
“從長期的生存角度來看，Neuralink 的目的就是建立一種通往大腦的高頻寬介面，使我們能夠與人工智慧共生。 因為我們存在頻寬瓶頸。 你根本無法透過手指進行有效溝通，這速度太慢了。”
按照馬斯克設想，透過高頻寬介面直接連線人腦與計算機，即可突破這一限制，實現人腦與 AI 的自由交流乃至共生。
但是，研究團隊指出—這一想法實在是過於理想化。
他們預測，就算裝上 Neuralink，人腦和計算機的通訊速率，很可能還是被限制在 10 位元/秒左右。因為這個瓶頸是大腦內部的處理機制，而不是外部介面的問題。
與其耗費巨資研發 Neuralink 電極束，馬斯克其實只需使用一部電話即可，電話的資料傳輸速率早已被設計為與人類語言相匹配，而人類語言的速度本身又與感知和認知的速度相匹配。
其核心癥結在於，限制資訊處理速率的，是中樞神經系統的序列處理模式，而非介面頻寬。
結語
這篇論文最近在學術圈可是掀起了不小的波瀾，討論熱度爆棚。
有小夥伴覺得論文角度清奇，而且頗能點撥一下老馬腦機介面的研究。但也有不少人吐槽文中的一些估算顯得有些“隨意”，比如，用打字員的速度來代表人類認知行為的速度，真的靠譜嗎？
相比我們在矽基系統上實現的超高速通用計算，人類 10 位元/秒的處理速度確實慢得像蝸牛，但這種直接對比是否合理呢？畢竟，大腦的資訊吞吐量與人類存在的感知之間，恐怕不能簡單地劃等號。
其實翻看這些討論，奶茶覺得認可和質疑雙方都有道理。
文中的結論非常明確清晰，但是其統計行為吞吐量的方式-簡單地將人腦的資訊吞吐量與矽基系統進行線性對比， 可能會忽略生物系統和人工系統在資訊編碼、處理和應用上的本質差異。
也許，人類大腦的這種“慢”，恰恰是其深度思考、靈活適應和產生意識的精妙所在，而非簡單的“效能不足”呢？
這個 4GB 的“大腦硬碟”理論，讓你焦慮了嗎？
參考文獻https://arxiv.org/pdf/2408.10234https://arxiv.org/pdf/2404.05405https://arxiv.org/pdf/2305.13673
