大家好,今天繼續聊聊科技圈發生的那些事。
一、MiniCPM-V
我們能把 GPT 本地部署到手機上了!不是用 API,而是完全本地化!

MiniCPM-V,這是一款端側可用的 GPT-4V 級多模態大模型。MiniCPM 是一個大系列的模型,通常來說,大模型都是部署在伺服器上,或是 PC 本地部署的。而 MiniCPM 將大模型部署到了手機上!(當然,蘋果手機肯定是用不了的)

系列有兩個值得關注的模型,一個是 MiniCPM,一個是 MiniCPM-V,二者的區別主要在於,MiniCPM-V 側重於影像處理。而今天我們分享的內容,主要關於 MiniCPM-V。
對於這樣一款側重影像分析的模型,我們只需要提供一張圖片作為輸入,再提供一些文字指示需要根據圖片生成的內容,模型就會在很快的時間內提供輸出。比如,你可以讓它幫你把圖片中的內容轉成 Markdown 格式,或是分析圖上講了什麼。

MiniCPM-V 擁有超級優秀的 OCR 能力。MiniCPM-Llama3-V 2.5 可接受 180 萬畫素的任意寬高比影像輸入,在OCRBench 得分達到 725,超越 GPT-4o、GPT-4V、Gemini Pro、Qwen-VL-Max 等商用閉源模型,遙遙領先!

藉助最新的 RLAIF-V 對齊技術,MiniCPM-Llama3-V 2.5 具有更加可信的多模態行為,幻覺率已經顯著低於 GPT-4V-1106,來到了開源模型的 TOP1 寶座。

無論你使用的是 Windows、Mac 還是手機,MiniCPM-V 都能相容你的裝置提供本地部署方案。當然,Huggingface 的線上體驗 demo 也已經發布。感興趣的小夥伴,可以根據條件自行試試。
線上體驗地址:
https://huggingface.co/spaces/openbmb/MiniCPM-V-2
專案地址:
https://github.com/OpenBMB/MiniCPM-V
二、VirtualWife
VirtualWife,虛擬老婆?一個令人激動,又有一點害羞的名字,事實上,這是一款虛擬數字人專案。基於 Python 開發,運用了自然語言處理(NLP)和機器學習技術,你可以建立屬於自己的 AI 伴侶。
不知道大家是否有了解過前些年大火的遊戲《主播女孩重度依賴》?在遊戲中,玩家作為男友陪伴患有心理疾病的主播女友,不斷攻略發展,最終走向不同的結局。

即使擁有20多種不同的結局和拉滿的小細節,遊戲的內容始終是人們設定好的。現在,VirtualWife 專案可以讓我們真正的實現虛擬伴侶,不再是類似 Galgame 的互動,而是配合人工智慧技術,實現你本人“私人訂製”的伴侶。

實現 VirtualWife 的核心是 NLP 技術。NLP 即 Natural language processing,自然語言處理。這使得 AI 可以透過自然語言輸入進行語義的理解和分析,並且能給出相應的輸出。同時,隨著互動越來越深入,VirtualWife 會透過持續的學習,生成更具個性化的回覆。
於是,經過一段時間的培養,一個可以陪伴你日常生活,聽你傾訴,有問必答的虛擬伴侶就誕生了。下至生活瑣碎,上至天文地理,對你的 VirtualWife 來說都不在話下。
如果你願意的話,透過 VirtualWife 創造的虛擬伴侶可以支援B站直播,你可以在直播間的彈幕裡發信息,它會像一個真正的虛擬主播一般回覆你。

專案透過 Docker 部署,專案主頁上也有很完整的部署教程,感興趣的小夥伴可以自行體驗一下。
專案地址:
https://github.com/yakami129/VirtualWife
好了,本期的內容就是這麼多,我們下期再見!
關鍵詞
模型
大模型
技術
手機
GPT-4