01 資訊生成與資訊查詢
現在AI大模型中灌入了全人類在網際網路上公開的知識。你現在可以把AI大模型看做是更好的知識搜尋引擎。因為傳統的搜尋引擎只根據關鍵字匹配返回對應的原始網頁連結,你需要自己一個點開去看。現在AI大模型都給你做好重點資訊摘要了。
現在AI大模型基於已經實現了70年前人工智慧先驅們對AI的所有願景了:能聽:語音識別會說:語音合成會交流:長上下文多輪會話與問答會看:視覺識別會寫:文字生成/程式碼生成、機器翻譯會畫:視覺生成會刷數學題庫但是大多數人,面對這些AI擅長的能力,卻應用不到自己的日常工作中,只是把AI大模型當做一個更好的知識庫搜尋引擎在使用。我個人觀點:如果AI要走進大家的日常工作,AI必須提升推理能力。但AI有推理能力嗎?如果要讓AI具備推理能力,應該怎麼做呢?
02 泛化遷移
現在的AI大模型因為位置編碼技術原理,導致了AI具有泛化能力。用專業的話來講就叫做:模式識別-模式匹配-模式遷移。用咱們通俗的話來講就是:舉一反三。也就是說:雖然它的知識題庫中沒有對應的明確的題,但是因為你的問題只是稍作了變形,所以它還是能夠識別出來的。這就類似:有的小孩舉一反三能力可以,你把題型稍微變變,他還是能理解。有的小孩舉一反三的能力不行,你教給他幾種題型,他就會做那幾種題型。你稍微變變樣子,他就不會了。
因為這樣的泛化原理,所以也必然會導致有些問題,AI舉一反三錯了:你知道是個新問題,AI以為是已有老問題的變形版,所以這就出現了咱們常說的AI幻覺。現在業界解決舉一反三錯誤的幻覺問題,人們採取的方式就是:家長教育小孩的方式,遇到一件錯事,就告訴他什麼是對,錯了就要受到懲罰。告訴他什麼是對的,這個專業方法詞彙就叫:指令學習。錯了就要受到懲罰、對了就收到獎勵,這個專業方法詞彙就叫:強化學習。
但是我個人感覺,這本質就是人類智力的眾包:大家海量的人天天使用大模型,大家發現問題、大家給它指出問題。從技術視角要解決這個問題,我感覺得采取PK思想:道高一尺魔高一丈,就如同兩個AlphaZero下棋AI模型互相PK,在鬥爭中成長。俗話說:人教人,教不會。事教人,一教就會。
03 深度思考
去年10月份OpenAI釋出了o1,大家開始對深度思考趨之若鶩。而我只看見OpenAI和DeepSeek在用工程視角而非技術創新視角在搞深度思考。OpenAI和DeepSeek的深度思考,從它暴露出來的思維過程就可以看出,它在:打草稿-試做-驗算-糾錯。
有的AI大模型裝模作樣在搞深度思考,我個人感覺它們本質在搞AI Agent那個思路:第一步:大部分使用者都是中庸人,不會目標明確地嚴謹邏輯地想清楚自己的事。所以現在AI大模型有提示模板自動最佳化的功能。也就是把你豆子麻子混在一坨,格式化成對AI大模型最佳化的清晰目的清晰結構邏輯。第二步:把這個清晰目的清晰結構邏輯的需求,分解為若干個計算機可執行的任務。第三步:動用各種生態能力,執行這些任務:如呼叫大模型的現有能力(文字生成/語音生成/圖片識別、程式碼生成/自動化部署/自動化執行)、如透過各種方式(API、命令列、UI點選機器人RPA)呼叫現有軟體工具能力、如利用最新網際網路資訊(聯網搜尋)和私有資料能力(檔案上傳)。第四步:把各個過程任務產生的結果進行整合,統一呈現給使用者。
不管是裝模做樣搞深度思考,還是真搞深度思考,因為都有複雜需求轉化成結構化提示模板、都有提示模板按照思維鏈進行任務分解環節,所以李逵和李鬼,大家就傻傻分不清了。
當然,o1也僅僅是去年10月份才釋出,所以現在很多其他AI大模型對這套工程還沒有跟進徹底:有的AI大模型對短的上下文思維鏈都Hold不住,這就是人們說的希望AI Agent具有記憶能力。有的AI大模型對唱的上下文思維鏈Hold不住,導致長鏈推理邏輯漂移。其實這就是AI大模型在長上下文的能力的提升,和記憶能力沒有半毛錢關係。但長上下文能力,除了取決於訓練時的樣本知識的長度、取決於訓練時的記憶體容量大小,還取決於位置編碼的技術創新。04 融會貫通上述咱們講了:對於AI沒見過的問題,AI使用舉一反三泛化能力來解決。雖然會出現舉一反三錯誤導致幻覺問題,也有人類調教、以及技術創新解決思路。對於複雜問題,AI也使用深度思考反覆驗證糾偏方案、MoE各種小專家模型組合、AI Agent思維鏈各種工具組合來解決。但是AI真要實現人類自己的那種推理能力,我感覺明年會往前走一小步。為啥這麼說呢?去年年初OpenAI釋出Sora但沒有幹成,今年全世界在視覺方面就進步非常大。我說這話的意思是:人類之所以能有真正的推理能力,其中一個原因就是:透過多模態(視覺/語音/文字),不僅可以學習到更多更立體的資訊,而且這些資訊如果能融會貫通,那就能表現出更強大的泛化能力。如果AI推理能力還想再前進一小步,我個人感覺需要咱們再拿起被人們丟棄的符號主義了。現在的人工智慧,主要是神經網路聯結主義,這個思路很擅長模糊匹配,有很好的擴充套件性,但卻很難精確地表達。而符號主義,可以人為地精確地表達,但是很難擴充套件。所以,AI大模型提升推理能力,還得需要人機結合:第一步:AI大模型構建可微分的符號層,人為構建精確規則第二步:AI大模型透過深度思考生成候選假設第三步:AI大模型透過Agent技術呼叫符號引擎做增強驗證第四步:讓AI大模型能直接最佳化邏輯規則