2023
新技術追蹤
BUSINESS
OpenAI不Open，Meta先Open了
文| Juny 編輯| VickyXiao
Meta最近“殺紅眼”了。
在上週Meta推出Threads對戰Twitter、以史上最快速度突破1億使用者之後，今天，Meta又在大語言模型方面和微軟強強聯手，向谷歌和OpenAI發起了新的挑戰。
在今天的微軟的Inspire 合作伙伴大會上，Meta宣佈和微軟深化合作，正式推出新一代開源大型語言模型Llama 2，並將該模型免費開放給商業和研究使用。
此次Meta高調開源Llama 2，無疑是在正面硬剛走“技術保密路線”的GPT-4和谷歌的PaLM 2。扎克伯格在Facebook上發帖表示：“Meta有著悠久的開源歷史，開源推動創新，它讓更多開發人員能夠使用新技術進行開發，同時提高了技術的安全性。我們相信如果生態系統更加開放，將會帶來更多進步，這就是我們開源 Llama 2 的原因。”
面對OpenAI和谷歌正在努力構建的技術圍牆，Meta似乎想要另闢蹊徑、透過生態開放來切入這場巨頭間的大模型競賽。
｜模型升級+開源可商用，Meta拿出LLaMA2 “大殺器”
今年2 月，Meta 首次釋出了自家的大語言模型LLaMA（Large Language Model Meta AI）系列，包含 70 億、130億、330億 和 650 億4個版本。
當時Meta表示LLaMA擁有超高效能，使用130億引數的LLaMA在規模僅為ChatGPT 的十分之一的情況下，效能表現可以優於GPT-3。使用650 億引數的 LLaMA 則可以與 DeepMind700 億引數的 Chinchilla模型和谷歌5400 億引數的 PaLM模型比肩。
LLaMA模型表現，圖片來自Meta
但2月版本的LLaMA並不是ChatGPT的直接競爭對手，LLaMA定位於“開源的研究工具”，所使用的是各類公開可用的資料集。它當時更多的著眼於研究領域，僅在非商業許可下提供給政府、社群和學術界的研究人員。
值得注意的是，LLaMA釋出後還出現了一個“洩露風波”，從而在業界推動了一波GPT平替風潮。雖然當時Meta稱LLaMA是開源的，但研究人員仍然需要向Meta提出申請和稽核。但就LLaMA釋出不久後，其模型原始碼的檔案卻在技術論壇上瘋傳，直接助推了包括斯坦福大學Alpaca、加州大學伯克利分校ColossalChat等基於LLaMA構建的語言模型和產品的出現。
當時因為洩漏的種子檔案還被一度合併到了 Meta Research官方GitHub 上，並得到了一些專案維護者的批准，也有人猜測LLaMA的洩露是Meta有意為之，其目的就是為了日後的商業化做鋪墊。
但不論此前LLaMA的洩露是否是Meta的試水之舉，今天，Llama 2正式開啟了開源商用版本。
根據Meta的官方資料，Llama 2 相較於上一代其訓練資料提升了40%，包含了70億、130億和700億引數 3個版本。Llama 2 預訓練模型接受了 2 萬億個 tokens 的訓練，上下文長度是 Llama 1 的兩倍，其微調模型已經接受了超過 100 萬個人類註釋的訓練。
在訓練流程方面，跟 ChatGPT類似，Llama 2也經歷了預訓練階段（PT）、指令微調（SFT）以及人類反饋強化學習（RLHF）三個階段。在包括推理、編碼、熟練程度和知識測試等外部基準測試中，Llama 2 在許多方面都顯著高於MMLU、TriviaQA等其他開源語言模型。
Meta 表示Llama 2可免費用於研究和商業用途，開發者們可以直接在Llama 2官方網站下下載該模型。為了避免此前LLaMA洩漏後帶來的深度偽造和色情聊天機器人等不良資訊和產品的出現，Llama 2已經經過了紅隊測試，避免模型產出不良和有害內容，並且為開發者們制定了使用指南和守則。
圖片來自Meta
｜Meta搞免費開源，攪動大模型池水
Meta釋出首個開源可商用大語言模型的訊息，無疑是在行業內釋放了一個重磅炸彈。
用Yann LeCun的話來說，Meta此舉可能將就此改變大模型行業的競爭格局。
眾所周知，OpenAI和Google目前是大語言模型領域中的兩大霸主，但他們在最新、最先進的模型上都選擇了“閉源”，OpenAI目前只是以API付費的方式向開發者提供服務。而此次，Meta在效能上足以比肩GPT-3.5的Llama 2免費開放給所有人，這肯定會吸引大量的開發者和創業者使用拋棄OpenAI和谷歌轉向Llama 2。
對於Meta來說，在AI使用者爭奪戰上的落後讓它不能再和OpenAI、谷歌一樣走非開源語言模型路線，開放生態則是目前一個很好的切入點。開源之後，Meta將擁有更多的可訓練資料，開發人員能夠幫助Llama 2去發現和解決漏洞，並且能夠很快開啟市場，為未來的商業化鋪路。一定程度上來說，Meta此次也是在反向施壓OpenAI和谷歌。
此次，為了鼓勵更多開發者加入Llama生態，Meta還開放了人工智慧研究社群和Llama影響力挑戰賽，鼓勵開發者們基於Llama 2來進行建立、交流和討論，並進一步解決環境、教育和其他公共領域的問題。
除了Meta官方以及合作伙伴微軟之外，Llama 2 還可以透過亞馬遜AWS、Hugging Face 和其他提供商獲取。
｜“雙M”聯盟走向深化，微軟或成最大贏家？
除了Llama此次的開源、商業特點之外，Meta 和微軟（Microsoft）的聯盟也尤其引人注目。
Meta和微軟向來關係不錯，此前Meta搞元宇宙時，納德拉就為其站臺並且率先帶著微軟的一眾產品進入Meta的VR平臺。在AI領域，兩家巨頭也有著長期的合作歷史。從2017年兩家共同推出了可互換人工智慧框架的開放生態系統，到ONNX Runtime 與 PyTorch 的整合等，Azure一直都是Meta的雲業務上的戰略合作伙伴。
圖片來自扎克伯格Instagram
此次，兩家就Llama 2進行了更加深入、全面的合作。微軟表示，Llama 2將在Azure AI模型目錄中提供，使得使用Microsoft Azure的開發者能夠構建並使用Llama 2，同時利用他們的雲原生工具進行內容過濾和安全功能。Llama 2也已最佳化為可在Windows本地執行，為開發者提供無縫的工作流，將更廣泛地提供給企業並可由企業定製。
值得注意的是，Meta和微軟也是今年以來股價漲幅最大的科技巨頭之一，Meta今年上漲了154%，微軟上漲了48%。
總體來看，一邊抓著OpenAI閉門研究、探索商業化變現，另一邊跟Meta聯合搞開源生態，微軟或許是此次AI熱潮中最得意的人。
那麼，你對於Meta這一次的商業版大模型開源怎麼看，你們認為Meta此舉會引發行業內的開源熱潮嗎？歡迎大家留言討論！
END
喜歡這篇文章？
關注矽星人，帶你用本地視角看矽谷，全球視野看創新
關鍵詞
模型
語言模型
大模型
億引數
效能