
極客公園獲悉,3 月 18 日上午,字節跳動豆包大模型部門(Seed)召開全員會,由負責模型應用相關工作的朱文佳,與新近加入的負責 AI 基礎研究探索工作的吳永輝共同主持。
兩人談到了未來的目標,明確 Seed 部門的最重要目標是探索智慧上限;同時強調進一步加強組織文化,提高技術開放程度,並考慮推進開源。
01
模型和應用長期不矛盾,
最重要的是探索智慧上限
全員會上明確了 Seed 部門最重要的目標是探索智慧上限,這是一個長期目標,會圍繞此前公佈的 AGI 研究計劃「Seed Edge」展開,鼓勵有能力、有想法的同學,探索更長週期的、具有不確定性和大膽的 AI 研究課題。
吳永輝強調了長期研究的重要性,對 Seed Edge 的投入將進一步加大,會為 Seed Edge 提供充足的算力,並將持續在內外部招募最具潛力和好奇心的研究人才。同時,對 Edge 專案取消季度 OKR 和半年考核,保障長期穩定的研究環境。
朱文佳則提到,模型應用會更多從使用者視角出發,把使用者最關心的任務,比如問答、創作、解題、程式碼等做好,真正理解使用者需求,符合使用者偏好。還要在搜尋、Agent 等應用中使用好工具,並充分發揮預訓練模型的潛力。
朱文佳覺得,模型不但要答對問題,還要講的清楚,讓人很快能看懂,要有情商。拿創作來說,他認為不管是格式、文采還是深度,每個方面的天花板都很高,需要不斷試驗分析。
關於模型研究和模型應用的資源投入問題,吳永輝認為長期來看兩者並不矛盾,智慧不提升無法服務使用者,同時應用才能支援持久的投入,且給模型帶來更多的反饋,以及帶來更大的成就感。朱文佳也表示,最關鍵的還是智慧上限,因為,「模型應用長期要貼著模型能力去做」。
02
加強內外部技術開放程度,
考慮推進開源
進一步加強組織文化,打造開放、包容、自信的團隊研究氛圍,則是 Seed 今年工作的另外一個重心。
吳永輝提到他加入位元組的原因,是想做第一流的研究,也想打造一個第一流的 AI 研究團隊。他表示,希望 Seed 成為一個能培養人才的組織:「我們希望把世界上最好的人才吸引到 Seed 來。但更重要的是我們要把內部人才用好,把我們的潛力股識別出來,給他們足夠的機會,培養成頂級的人才。」
朱文佳也提到,過去兩年,大模型團隊的很多應屆生、實習生和年輕同學,或者獨立負責重要的方向,或成為技術突破的關鍵貢獻者,成長非常快。
為了更好地培養人才,Seed 正在改進內部反映的一些問題,比如讓資訊更透明,包括擴大文件、程式碼和資料的許可權,儘可能共享,消除資訊孤島。同時,打破部門壁壘,提升跨團隊的溝通與協作,建立跨部門的專項研究小組。
吳永輝還表示,Seed 做了很多很好的工作,但外面不太瞭解。未來會加強提升 research 的影響力,鼓勵員工以 research paper 或者 blog 的形式把這些工作發表出來。
此外,未來 Seed 也會考慮開源,可能會開源中小尺寸的 Dense 模型,這樣尺寸的模型對社群也是最友好的,目前細節還在討論中。