a16z 合夥人 Jennifer Li 最近分享了她對生成式 AI 的最新見解，特別提到了裝置端執行的小型模型在未來的重要性。
去年 4 月，Jennifer 升任為 a16z 第 27 位普通合夥人，並在 a16z 新成立的 12.5 億美元 AI 基礎設施基金扮演關鍵角色。
Jennifer 表示，生成影像、語音和影片的生成式模型將在基礎設施和裝置計算能力方面變得更加普及，這為小型模型的崛起提供了絕佳條件，而在裝置端執行的小型生成式 AI 模型將在 2025 年更加流行。
許多日常使用的應用程式，比如Uber、Instacart、Lyft或Airbnb，已經在裝置端運行了大量機器學習模型。然而，她特別想強調的是生成式模型，它們正在逐漸實現類似傳統機器學習模型的裝置端執行。
Jennifer 表示，如今的智慧手機計算能力相當於 10～20 年前的電腦，加上摩爾定律的作用，像 20 億或 80 億引數的小型模型，已經足夠在裝置端高效執行，並提供強大的功能，這一變化得益於裝置計算能力的提升和模型最佳化技術的進步 。
此外，她還提到蒸餾技術發展也是一大關鍵。這項技術可以將一個功能強大的大型模型壓縮成較小的模型，同時保留大部分能力，這種技術結合裝置計算能力的提升，為小型模型的廣泛應用奠定了基礎。
相比雲端執行，裝置端執行生成式模型有許多顯著優勢。首先是即時性。使用者希望與聊天機器人互動時能夠立即收到響應，或者在社交媒體中新增濾鏡時無需等待幾秒鐘載入。裝置端執行能夠顯著減少延遲，為使用者提供更加流暢和直觀的體驗。
然後是隱私保護。如果資料處理可以完全在本地完成，比如會議記錄功能，大多數使用者會更加願意使用這些應用，而不用擔心隱私資料被上傳到伺服器進行處理。
經濟性和效率也是重要因素。雖然雲端推理的成本正在下降，但裝置端執行可以進一步最佳化開發者的效率，加快迭代速度，並降低一部分基礎設施的依賴。
某些計算密集型任務可能仍需要雲端支援，但許多日常應用場景完全可以透過本地模型實現，從而減少對網路和伺服器的依賴。
她還提到，裝置端模型的潛力正在釋放，在未來我們可能會看到以下應用場景的廣泛普及：
-
即時語音助手與對話 AI：這些助手能夠流暢地處理與使用者的互動，例如個性化的AI教練或客戶服務支援。
-
增強現實（AR）體驗：透過攝像頭和生成式AI的結合，使用者可以即時重新設計空間，例如更改牆紙、傢俱擺放等。
-
混合現實與創意表達：生成3D模型和影片的新技術將改變我們與現實世界的互動方式，使得虛擬體驗更加生動有趣。
-
可穿戴裝置創新：智慧手錶和其他可穿戴裝置將透過小型化生成模型解鎖更多個性化功能。
雖然裝置端模型帶來了諸多可能性，但仍面臨一些挑戰。例如，裝置端模型需要隨著硬體和應用的更新而同步迭代，開發和部署成本也可能有所增加。
另外，雲端和裝置端結合的經濟模式需要重新設計，這將對整個供應鏈產生深遠影響。
Jennifer 認為生成式 AI 在裝置端的普及正在重塑使用者體驗、隱私保護和開發生態。
隨著技術和基礎設施的進一步發展，混合現實和生成式 AI 的結合將為我們創造前所未有的沉浸式體驗，並開創全新的消費領域。
✦ 精選內容 ✦
