作者
｜
油醋
郵箱
｜
以ChatGPT和Claude為代表的面向普通使用者的生成式AI都面臨一個類似的問題：它足夠智慧，但仍然不好用。
這個問題直白，卻是一個相當終極的問題。大模型在一次次整體性的預訓練中瞬間被灌入新的知識，但每兩次預訓練之間，限於訓練成本等因素，總有一段不短的時間間隔。在這段時間裡，新知識就變舊了。
於是雖然這些出色的大語言模型有極強的知識結構化能力，但對於更即時性的問題，以及大量的長尾知識，它們仍然一籌莫展。
持續進行預訓練是大模型未來的一個進化方向，一個更大引數量級的模型在想象中可以更有效率的觸及到長尾知識。但這兩者似乎天然存在著成本與規模之間的矛盾。
不考慮成本，矽谷的工程師們已經在討論怎麼把1000萬顆GPU聯在一塊做模型架構了。但這在目前仍然不是一條現實道路。
當下GPT-4的訓練規模是2萬顆，而要湊足1000萬顆GPU，英偉達需要心無旁騖的苦幹10年。
王小川在6月中旬Baichuan-7B釋出的隔日去了美國，得知了“1000萬顆GPU相連“的暢想，可能也更明確了百川智慧在國內的前景。
大模型中的長尾知識與即時性，現階段反而是看起來已經陳舊的傳統搜尋的機會。
重新出山的王小川一直在努力定義自己做大模型的正當性。他頻繁強調自己和百川的搜尋基因，並且在不同場合多次提到同一個故事：
“很多人說我特別適合做大模型，（但）我做了20年搜尋，從來沒一個人說過我特別適合做搜尋。”
在王小川看來，搜尋裹挾在移動網際網路的大背景下，一刻慢處處慢，何況是和百度之間4年的差距。但來到大模型的戰場，突然間過往皆為序章。搜尋與大語言模型在技術有不少重疊處，但相比搜尋，大模型更吸引人，也處處是新的。
從7月釋出Baichuan-13B-Chat，短短一個月時間Baichuan-13B-Chat在Hugging Face上已經有了超過百萬的下載量。而從4月公司名字官宣，到兩款開源大模型的釋出，四個月內百川智慧已經在一些場合與智譜AI、MiniMax這些在大模型領域積累了超過兩年的公司同樣受人矚目。
“現在103人了”，王小川透露，“差不多一天招一個人的速度。”
這是百川智慧現在的規模。
在百川智慧目前超過百人的團隊裡，有超過30%的人來自搜狗，這個王小川的舊事業。這個團隊中最新加入的是洪濤，這位原來搜狗的首席營銷官在未來將會負責百川智慧的商業化業務。他在自己的朋友圈公佈了這個訊息，也預示百川智慧的商業化即將開始。
百川智慧在8月8日釋出的第三個大模型似乎也在印證這一點。在7B和13B兩個開源大模型後，百川智慧釋出Baichuan-53B，後者在引數量上相比之前大了數倍，並且這次的Baichuan-53B是一個閉源大模型。
在技術迭代上，Baichuan-53B開始“迴歸”搜尋。
這裡的“搜尋”或許用“檢索增強”來定義更加準確，簡單來說就是給大模型外接一個通往網際網路世界的路徑，在接收到超出預訓練範圍內的提問時，模型會接入搜尋引擎或知識庫來進行具體的搜尋，尋找答案。
2023年年初Google在AI頂級會議ICML2023發表的論文《Large Language Models Struggle to Learn Long-Tail Knowledge》曾對檢索增強大語言模型有過系統的論述。
研究證明了大語言模型回答問題的能力與預訓練期間看到的與該問題相關的文件數量之間有很強的依賴性。當模型變大或者見到相關問題越多的情況下，模型回答問題的能力越強。但當一個問題如果只在預訓練階段出現過10次以內，大語言模型回答正確的機率趨近於零——這點無論在Bloom或者GPT-3身上表現都相似。
但改進方法中，增加收集資料的規模或豐富程度對結果的影響微弱，而如果要擴大模型引數，Google團隊的預測是一個千萬億引數級別的Bloom模型才能達到人類大腦對於長尾問題的準確率。相對來說，增加一個輔助檢索模組是更有前景的方式。
最新鮮的例子就是ChatGPT Plugins。但由於OpenAI本身跟微軟是兩個獨立的實體，搜尋對於OpenAI來說“相當於一個黑盒”。
王小川表示相比其他大模型的檢索增強，“（Baichuan-53B中）搜尋跟模型的結合從非常底層的地方就開始去融合了 ”。他給百川智慧的檢索增強下了一個“搜尋增強”的定義。
Baichuan-53B中的搜尋增強系統融合了包括指令意圖理解、智慧搜尋和結果增強等關鍵元件的多個模組。
在指令意圖理解階段， 首先指令任務被細化為16個獨立類別，分別以Prompt增強技術——即透過構造特定的輸入提示來引導模型生成期望的輸出——進行了個性化的設計和最佳化；而對於超引數的設定對模型在訓練和生成過程中的效能影響，動態超引數調整技術，baichuan-53B採用了動態超引數調整技術來根據任務型別的特性自動調整和最佳化超引數。
在搜尋結果環節，Baichuan-53B中包含一個搜尋結果相關性模型，該模型會對從搜尋內容和知識庫中獲取的資訊進行相關性評分。 該相關性模型也可以作為獎勵模型，用於在強化學習訓練階段進一步最佳化意圖理解模型，提高其對人類指令的對齊度，並更高效地調用搜索引擎；RLHF技術也將用於搜尋結果的訓練和最佳化，使得回答結果更準確並且人性化。
但在核心的“如何辨別這個問題是否需要調用搜索引擎或知識庫”的決策上，百川智慧稱其“採用了一種靈活的策略”來生成精確響應，並未透露太多技術細節。對於接入的是哪一家搜尋引擎，王小川表示目前還不便公開。
王小川表示，模型尺寸變大導致部署成本增加，是Baichuan-53B決定轉向閉源的原因。但這個閉源的時間點仍然顯得敏感。
此前Baichuan-7B以及Baichuan-13B曾經被質疑有C-eval測試集洩漏的問題，而有開發者表示Baichuan系列大模型的架構與Llama極度相似。等到開源的Llama 2在7月下旬推出，時間點在Baichuan-13B之後。相比LLaMA，花了四個月迭代出的LLaMA 2在預訓練模型架構上幾乎沒有變化。
LLaMA在模型架構本身的最佳化上看起來開始停滯，這是否是形態可能也十分接近LLaMA的Baichuan-53B不再需要開源的原因？
對於這個問題，王小川表示LLaMA2比LLaMA1所新增的9個技術創新點基本都在Transformer框架層面，其中有6個在在百川自己研發的模型裡已經做到了。“剩下兩個沒想到，有一個試完覺得不太行”。
而對於模型架構靠近LLaMA，王小川表示是出於生態相容的考慮。
“開源之後，生態會圍繞LLaMA去構建，在國外有很多開源專案是跟著LLaMA去推動的，（這也是）我們的結構為什麼跟LLaMA更加接近。”
對於王小川和百川智慧來說，搜尋與大模型的融合將成為未來百川系列大模型穩定的亮點，Baichuan-53B的API也會在下個月開放。而按照設想，在這個50B的大模型釋出後，百川智慧將在Q4釋出一個175B的的千億大模型。除此之外，王小川透露，百川智慧面向C端的“超級應用”也已經開始部署，並且不只一款。
一切都在緊湊的推進。而首先，“年底做出中國最好的大模型”這句話的兌現時刻已在眼前。
一場聚集人工智慧產業頭部公司與頂級資本的對話
點選下方圖片即可報名參加活動
品玩招聘作者，資深作者及編輯，並長期開放實習生招聘。
世界不平靜，我們希望在變動的技術週期和商業週期裡繼續我們的探索，不熄滅眼裡的光。
為了和更多個優秀的你一起記錄和改變這個激動人心的時代，做更多有價值的報道，品玩現開放招聘。
崗位資訊：全職：4人。實習生長期招聘。工作地點：北京。
一句話總結我們在招聘的崗位的工作內容，就是：
報道最重要的商業和技術新聞，並抽絲剝繭地解釋給讀者它們為什麼重要。
一些共同的崗位要求：
1. 尊重常識。
2.對好內容有感知，有選題發明能力。
3.掌握快速搜尋梳理資訊的方法，有較強的文獻閱讀能力，能獨立拓展相關資源。
4 英文流利。有閱讀英文內容的習慣，可以用英文完成溝通。
5.對真實世界有感知，心智成熟，有職業精神，溝通介面良好穩定。
在招崗位：
-新經濟作者、新技術作者
新經濟作者負責報道網際網路商業領域最新動態；新技術作者負責報道新技術領域（AI，晶片，機器人等）最新動態；
追蹤錢的流動，人的變化，商業世界的競爭與合作以及科技的變革，並把它們講述給我們的讀者；
不限工作經驗，不限專業背景，我們歡迎不同背景的候選人。
-資深作者/編輯
對網際網路商業領域或新技術領域有自己的研究和積累；
有自己獲取資訊的方法體系，有持續學習的能力；
能發明選題，撰寫深度文章，同時也可以輔導初級作者。
長期招募實習生
我們為實習生提供與全職同樣的指導與工作支援，並提供留用機會。
或者，以上的描述都不能定義你，但你認為你是我們需要的那個人，也可以發郵件給我們，介紹你自己。
以上崗位應聘者，請將簡歷及作品傳送至：[email protected] 。（請標明應聘崗位）
同時，我們也在招聘其他崗位：
運營部門
崗位資訊：全職：3人。實習生長期招聘。工作地點：北京。
內容運營
能夠敏銳的捕捉網際網路熱點，並將其轉化為出色的內容；
富有創新意識和強烈的主觀能動性，重視流量在工作中的重要性；
有自己獨特的資料分析方法論，能發現龐雜資料中的關鍵點，並反哺內容創作。
影片運營
具備影片的全流程的創作能力；
對各個內容平臺均有深刻理解，能抓住平臺規則紅利；
有自己獨特的資料分析方法論，能發現龐雜資料中的關鍵點，並反哺內容創作。
社群運營
有過國內外成熟知名社群的運營經驗；
能夠獨立承擔運營策略、節奏設計，結合運營目標、節點資源等因素制定精細化的社群運營規劃；
對UGC的熱點、流行趨勢、話語體系有充分理解，能夠透過創意、熱點玩法、活動策劃激發UGC參與。
長期招募實習生
我們為實習生提供與全職同樣的指導與工作支援，並提供留用機會。
運營崗位應聘者，請將簡歷及作品傳送至：[email protected] 。（請標明應聘崗位）
商務部門
銷售總監/高階銷售經理
崗位職責：
1. 負責品玩線上廣告、線下活動類、品牌營銷、市場公關、以及定製方案的商務拓展與銷售工作，透過對目標行業客戶的銷售完成指定收入目標；
2. 對目標行業客戶進行研究、識別、接洽、需求、分析、產品演示、方案規劃、談判與簽約；
3. 管理與維護指定客戶(包括新客戶與現有客戶)，提供優秀的售前與售後服務，建立長期、穩定的合作關係，對客戶產品和需求進行持續性的研究與開發；
4. 與各部門保持緊密合作，回饋客戶需求與最新行業動向，協助最佳化產品與服務；
5. 積極參加行業商務與社交活動，拓展人脈資源，持續瞭解與提升行業知識和洞察力
任職要求：
1. 網際網路銷售經驗2年以上，銷售經驗5年以上優先;
2. 做事嚴謹、細心，較強的溝通協調能力;
3. 有市場營銷、品牌方或者市場公關乙方工作經歷優先；
4. 自我驅動，有很強的學習行業知識及專業知識的能力；
5. 具備應變能力，團隊協作能力，能適應多工處理及工作壓力；
6. 擁有intel、華為、華為雲、阿里、阿里雲、高通等網際網路行業直客資源者優先。
更多招聘資訊，可以進入官網招聘頁面獲取。
期待品玩有你的加入。
· 文章版權歸品玩所有，未經授權不得轉載。
· 您亦可在微博、知乎、今日頭條、百家號上關注我們。
