真格基金宣佈捐贈開源AI專案vLLM

今天，真格基金高興地宣佈向開源 AI 專案 vLLM 提供捐贈。

開源技術處於 AI 革命的中心。Llama 3、Mistral 等開源大模型迅速追趕 GPT-4，TensorFlow、Pytorch 等開源深度學習框架提供了豐富的庫和工具。GitHub 上有 6 萬個通用人工智慧專案，Hugging Face 上有超過 40 萬個模型。每一週，有超過 100 萬行程式碼在開源 AI 領域中建立，開發者像交換禮物一樣，從全世界的各個角落為開源專案作出貢獻。

2022 年，一個加州大學伯克利分校的 3 人團隊從一個加速 OPT-175B 訓練推理的 demo 專案開始，在兩年的時間裡搭建出了全球範圍內最受歡迎的開源大模型推理加速框架 vLLM。

vLLM (https://github.com/vllm-project/vllm) 的目標是，搭建最快速、最易用的開源 LLM 推理服務引擎 (Build the fastest and easiest-to-use open-source LLM inference & serving engine)。

與 Hugging Face Transformers 相比，它提供高達 24 倍的吞吐量，而無需進行任何模型架構更改。今天，vLLM 在 GitHub 上的星標數已經突破 21.8k，而距離去年 6 月開源以來只過去了一年。

vLLM 支援幾乎所有最新的開源 LLM，包括 Mistral，Llama，Gemma 等 30+ 大模型。一個新的開源大模型，幾乎都會在釋出前主動接觸 vLLM 做好適配最佳化，確保在上線的第一天，大家就能透過 vLLM 來使用它。

vLLM 不執著於英偉達 GPU。與其它框架相比，這也是 vLLM 一個很大的不同點——支援包括 AMD GPU，Intel CPU/GPU/Habana Gaudi，Google TPU，AWS 在內市面上最全的硬體架構。從專案創立起，vLLM 就希望能廣泛支援能夠使得推理更快、成本更低也更適用的硬體。

在 ChatGPT 上線、Facebook 成為 Meta 之前，vLLM 誕生於一個名為「Alpa」的自動化並行推理 demo 專案。但在部署過程中，vLLM 團隊發現 demo 的速度很慢，GPU 利用率也非常低。這讓他們意識到，大語言模型推理本身就是一個非常值得關注的問題。

當時的市面上沒有任何大語言模型推理最佳化的開源系統。於是，團隊決定從 0 開始自己動手做一個。面對 GPU 的記憶體管理帶來的瓶頸，團隊在多次迭代後，基於作業系統中經典的虛擬記憶體和分頁技術，提出了全新的注意力演算法 PagedAttention，並構建了高吞吐量的分散式 LLM 服務引擎 vLLM，幾乎做到了 KV 快取記憶體零浪費。

2023 年 6 月，創始團隊釋出 vLLM 開原始碼，並一直維護到今天。下一步，團隊計劃將資金用於 vLLM 的開發、測試和效能提升。

40 年前，世界上最後一個駭客 Richard Stallman 發起自由軟體運動，開放、平等、協作、共創的開源精神開始崛起。從 GNU 和 Linux 的結合，到 MySQL 的第一個版本釋出，到 Mozilla 專案的成立，到分散式版本控制系統 Git 的雛形面世、Android 的誕生，再到 GitHub 席捲全球，開源帶來的創新幾乎書寫了一部計算機資訊科技的歷史。

這種創新來自全世界的聚力協作。vLLM 的全職團隊只有 3 個博士生，但 20 多名分佈於大模型、Infra、硬體等前沿科技公司的軟體工程師都在為之努力。

為了吸引更多的貢獻者，vLLM 對程式碼質量要求極高。團隊要求程式碼必須模組化，且非常簡潔易讀。同時，團隊成員會非常認真地做好程式碼審查（Code Review），甚至會在開發者提交程式碼更改（Pull Request，PR）後，在 PR 上接著重構後再進行合併。

vLLM 社群的開發者們在過去 4 場線下見面會上，會用網名親切地稱呼彼此。當位於矽谷的 vLLM 團隊每天早上醒來，就會發現一位來自英國的工程師在夜裡默默解決掉了二三十個問題。

開源短短一年，我們就看見 vLLM 的伯克利團隊之外，包括 Anyscale、IBM、AMD、NeuralMagic、Roblox 在內的 300 多名活躍協作者，在以一行程式碼為顆粒度持續參與貢獻。vLLM GitHub 的每 10 條提交記錄中，就有 8 條來自社群，而這與 Linux Kernel 在釋出 30 年後才達到的比例狀態相當。

自從成立，真格基金始終是新技術和創業精神的堅定支持者。我們想成為一直堅定地站在創始人身邊的人，陪伴他們引領科技創新並改變這個世界。2022 年，真格基金就曾向開源專案 ControlNet 發起捐贈。

真格基金管理合夥人戴雨森表示，「這次對 vLLM 這一開源專案的捐贈，是因為我們始終致力於推動 AI 的普及，希望新技術能惠及儘可能多的人類。和工業界相比，學術界的優秀工作目前往往受到更多成本和算力的限制。我們相信，改變世界的最好方式是自己創造——如果可以，與全世界的開發者一起創造。而對於創造未來的重要基石，我們願盡綿薄之力。」