金磊 發自 上海量子位 | 公眾號 QbitAI
不得了。
現在的國產AI應用,一口氣看好幾分鐘的影片,都可以直接做推理和解析了!
瞧~只需“喂”上一段柯南片段,AI就搖身一變成“名偵探”做剖析:
它會對整個影片的內容先做一個總結,再按照秒級,對影片片段做內容上的推演。
如果再給這個AI“喂”上一段足球遊戲,它又會秒變成一位資深解說員:
這一次,在影片總結和影片要點之後,我們繼續提出要求:
請幫我剪輯影片中的片段,包含任意由客戶指定的場景,提取相關片段,標明時間範圍,併為每個片段配上解說文案,使用者場景為:進球時刻。
它就會立即執行深度思考,自動剪輯出一段8秒的高光片段,並附上建議搭配的音樂或音效:

這便是商湯最新升級的日日新SenseNova V6解鎖的新能力——
原生多模態通用大模型,採用6000億引數MoE架構,實現文字、影像和影片的原生融合。

從效能評測來看,SenseNova V6已經在純文字任務和多模態任務中,多項指標均已超越GPT-4.5、Gemini 2.0 Pro,並全面超越DeepSeek V3:

在強推理能力上,日日新V6/V6 Reasoner的多模態和語言深度推理任務上同時超過了OpenAI的o1和Gemini 2.0 flash-thinking的水平。

同時在小版本的模型上,SenseNova V6的各項成績也超越GPT-4o:


縱觀整體,可以將商湯此次釋出新模型的特點總結為三個關鍵詞——
強推理、強互動和長記憶。
那麼具體效果如何,我們繼續往下看。
邊看邊聽邊理解的AI
這次我們的實測主要聚焦在即時音影片互動的能力上。
我們直接用全新版本的商量APP(內測版)來做一波測試。
測試的影片,便是最近大火的韓劇《苦盡柑來遇見你》中女主媽媽讓婆婆陪她一起去拍遺像的片段:
AI在看了整整五分鐘影片之後,對於我們的三連問都給出了精準的答案:
你覺得剛才這兩位女士是什麼關係?你覺得這兩個女士為什麼要去照相館照相?畫面中這位女士最後的結果是怎麼樣的?
不僅如此啊,從AI的回覆中,我們也可以聽出情緒上的變化,對於這樣令無數人催淚的橋段,它作答的情緒也是略帶sad。
再來一個比較有意思的——看圖猜城市:

AI的回答如下:
在一番深度思考之後,AI是精準猜到了長沙這個城市。
類似的,我們再來做一個猜成語的遊戲,題目長這樣:

這一次,AI更是沒有過多的“廢話”,直擊要害地給出了答案——緣木求魚。
不光是有趣,在面對日常生活中的問題,商湯SenseNova V6更是能夠體現它有用的價值。
比如給小朋友輔導數學題,現在真的就是一拍一問就可以的事情了。
要知道,普通大模型只會提供千篇一律的標準答案,無法基於不同的解題思路提供指導。
但日日新V6不但能識別手寫體,還能夠提供針對錯誤點的一對一引導式講解,並給與高效輔導:
從多種維度的實測來看,SenseNova V6是具備了高度擬人化的感知、表達和情感理解能力,可針對不同的對話內容和場景需求,即時靈活地切換語氣、情感與音調。
同時,它還擁有較強的即時互動、視覺識別、記憶思考、持續對話和複雜推理等能力。
除此之外,商湯的SenseNova V6,還上身了今年持續爆火的具身智慧,可以說是用它多模態的能力,給機器人裝上大腦、眼睛、耳朵和嘴巴:

怎麼做到的?
看完各種實測,我們再來聊聊SenseNova V6背後的原理。
為了更好地理解,量子位與商湯科技聯合創始人、執行董事及人工智慧基礎設施和大模型首席科學家林達華請教了一番。
首先,就是商湯自研的原生多模態融合訓練技術。
這是一種能夠將多種模態資訊(如文字、影像、影片、音訊等)在模型架構和訓練過程中進行深度融合的AI模型架構。
與傳統的將語言模型和多模態模型分立的方式不同,它透過橋接技術(如補充訓練資料和模態關聯機制)實現模態間的協同,避免傳統方法中“蹺蹺板效應”(即增強某一模態能力導致另一模態能力下降)。
這種設計能更自然處理複雜場景(如漫畫理解、影片分析),捕捉跨模態的細節關聯(如影像中的隱含資訊)。
在今年1月份的權威評測榜單SuperCLUE(語言模型綜合榜單)和OpenCompass(多模態綜合榜單)上均位列國內第一,這也充分證明了該技術的強大潛力。
其次,是多模態長思維鏈合成技術。

面對複雜推理任務,傳統AI模型容易因資訊過長而丟失關鍵邏輯;商湯的這一技術可以透過多智慧體協作,實現超長思維鏈的生成與驗證(目前儲備超1000萬條思維鏈資料)。
具體而言,它可以合成並理解64K tokens(約5萬字)的多模態長思維鏈,使模型具備長時間、多步驟的深度思考能力,適用於數學推導、科學分析、長文件理解等場景。
林達華舉例說明,模型在回答問題時能逐步關聯影像細節(如漫畫中的海鷗表情),最終生成富有創造力的輸出。
除此之外,還有多模態混合增強學習。

這一技術的提出主要是為了平衡模型的邏輯推理能力和情感表達能力。
它同時採用基於人類偏好的RLHF(強化學習人類反饋)和基於確定性答案的RFT(強化學習事實訓練),使模型既符合人類喜好,又保證事實準確性。
並且透過智慧權重調整,確保模型在提升推理能力的同時,不會變得機械生硬,仍能自然表達情感。
最後,便是長影片統一表徵和動態壓縮。

長影片理解一直是AI的難題,商湯的統一時序表徵技術實現了跨模態資訊的高效對齊與壓縮。
它可以將畫面(視覺)、語音(聽覺)、字幕(文字)、時間邏輯統一編碼,形成連貫的時序表徵。
在採用細粒度級聯壓縮+內容敏感過濾之後,10分鐘的長影片可壓縮至16K tokens(僅為原始資料的極小部分),同時保留核心語義,大幅提升處理效率。
以上四大技術,便是商湯SenseNova V6背後的殺手鐧了。
不僅要日日新,還要天天用
遙想百模大戰之初,商湯CEO徐立博士解釋過為何商湯大模型會取名為“日日新”:
靈感源自中國古代經典《禮記·大學》中的名句“苟日新,日日新,又日新”。
其本意是如果一天能夠自新,就該天天自新,持續不斷地革新;這也意味著商湯的大模型版本會持續更新,能力“日新月異”。
現在回頭來看,從SenseNova V1到現在的V6,商湯大模型發展速度確實是做到這一點:平均3-4個月便會有一次的迭代。
而從今天的釋出會來看,不論是從技術的解讀,亦或是案例、demo的分享,無不在劍指易用性。
大到城市管理、物業運營、電網巡檢,小到數學解題、遊戲解說、繪本故事……
一言蔽之,商湯在透露的核心觀點便是:
AI之道,在於百姓之日用。

對此,徐立博士也對量子位做了更進一步的闡述:
推理能力、多模態能力、模型融合能力,讓AI的通用智慧大大泛化,不光能推進科學探索,也能解決老百姓的日常痛點和所需。核心還是AI通用能力的實現,我認為當下正是多模態智慧的湧現期。
除此之外,藉著此次SenseNova V6“上身”具身智慧,還延伸出了一個有趣的話題——
前不久某知名創投圈大佬一句“批次退出具身智慧”引發了不小熱議。
對此,商湯科技聯合創始人楊帆認為:
這種觀點很好,科技創新產業需要這種質疑,我們需要直面且客服這種質疑,才能邁向更認真嚴肅的產業階段。具身智慧可能還是試驗階段的東西,但我個人非常有信心,能跟合作伙伴一起為產業提供更多的價值。
銀河通用合夥人、大模型負責人張直政表示:
有不同討論聲音的時候,說明大家真的在嚴肅的討論這個問題;但這並不意味著具身智慧的泡沫有多嚴重,這是科技創新的驅動力。我作為科研人員,從謹慎樂觀的角度來看,泡沫對於創新是非常正常的。例如騎馬的時候,對汽車就是泡沫;是對技術的想象力和邊界產生了突破,我們要從宏觀的需求出發,把這個技術落實下進去,把對前沿科技的想象變成真正的產品。
除此之外,上海交通大學副教授閆維新對這個問題的看法是:
泡沫是遠離了價值以外的內容,只要大方向正確,與之相關的應用、落地的發展中過程中,我們需要冷靜思考,是否能夠像人一樣有感知力和執行力去滿足公眾需求。我認為危險替代就是具身智慧一個非常好的場景,3-5年後是可以看到的。

總而言之,商湯作為國內大模型代表性玩家,它今天所強調的“AI之道”,一來是符合當今大模型發展“應用為王”的趨勢,更是反應出了AI發展的根本價值取向——
技術必須服務於人的真實需求,融入日常生活,解決實際問題。
那麼今天,你用AI了嗎?趕快去試試SenseNova V6吧~
chat.sensetime.com
一鍵三連「點贊」「轉發」「小心心」
歡迎在評論區留下你的想法!
— 完 —