編輯：杜偉、陳陳
國產大模型進步的速度早已大大超出了人們的預期。年初 DeepSeek-R1 爆火，以超低的成本實現了部分超越 OpenAI o1 的表現，一定程度上讓人不再過度「迷信」國外大模型。
如今，在語音 AI 領域，國產大模型第一梯隊的重量級選手 MiniMax 又拋下了一顆「重磅炸彈」。
我們看到，其全新一代 TTS 語音大模型「Speech-02」在國際權威語音評測榜單 Artificial Analysis 上強勢登頂，一舉擊敗了 OpenAI、ElevenLabs 兩大行業巨頭！
其中，在字錯率（WER，越低越好）和說話人相似度（SIM，越高越好）等關鍵語音克隆指標上均取得 SOTA 結果。
圖源：Artificial Analysis Speech Arena Leaderboard
這項成績直接震驚國外網友，他們紛紛表示：「MiniMax 將成為音訊領域的破局者。」
知名博主 AK 也轉推了這個新語音模型：
效能更強之外，Speech-02 還極具價效比，成本僅為 ElevenLabs 競品模型（multilingual_v2）的 1/4。
Speech-02 的登頂，再次展現出了國產大模型超越國外頂級競爭對手的技術實力與底蘊。
那麼，Speech-02 究竟有哪些魔力才取得了這樣亮眼的成績。隨著本週技術報告的公佈，我們對模型背後的技術展開了一番深挖。
屠榜背後
MiniMax 做了哪些技術創新？
當前，主流的文字轉語音（TTS）模型在建模策略上主要分為兩類，即自迴歸（ AR）語言模型和非自迴歸（NAR）擴散模型，兩者在建模難度、推理速度、合成質量等方面各有其優劣勢。
其中，非自迴歸模型有點類似於批次生產，生成速度很快，就像一家快餐店出餐快但口味普通，生成的語音不夠生動、逼真。
自迴歸模型可以生成韻律、語調和整體自然度等多個方面更好的語音。不過，這類模型在語音克隆過程中需要參考語音和轉錄文字作為提示詞，就像高階餐廳味道好但需要顧客提供詳細食譜才能復刻菜品一樣。這種單樣本（one-shot）學習正規化往往導致生成質量不佳。
作為一個採用自迴歸 Transformer 架構的 TTS 模型，Speech-02 的強大源於兩大技術上的創新：
一是實現了真正意義上的零樣本（zero-shot）語音克隆。所謂零樣本，就是給定一段參考語音，無需提供文字，模型很快就可以生成高度相似的目標語音。
二是全新的 Flow-VAE 架構，既增強了語音生成過程中的資訊表徵能力，又進一步提升了合成語音的整體質量和相似度。
零樣本語音克隆
首先，Speech-02 引入了一個可學習的 speaker 編碼器，該編碼器會專門學習對合成語音最有用的聲音特徵，比如更關注說話人的獨特發音習慣，而不是無關的背景噪音。
正是在此模式下，Speech-02 只需要聽一段目標說話人的聲音片段（幾秒即可），就能模仿出這個人的音色、語調、節奏等特徵，不會有機器人念稿的那種割裂感。而且整個過程是零樣本的，不需要額外訓練或調整。
這就為語音合成技術節省了大量寶貴時間，我們不難發現，傳統方法需要大量資料，比如先錄製 1 小時的聲音。此外，資料的多樣性也是一個問題，模型需要能夠處理不同國家、年齡、性別等說話人資訊。而 Speech-02 完全克服了這些挑戰，直接聽音學樣，且一聽就是你。
此外，MiniMax 還提出了可選增強功能，即單樣本語音克隆。在此設定下，需要提供一個文字 – 音訊配對樣本作為上下文提示，從而指導語音合成。
Flow-VAE 架構
MiniMax 還提出了用於生成連續語音特徵的關鍵元件，即基於 Flow-VAE 架構的流匹配模型。從而進一步提升了音訊質量，使得生成的音訊更加接近真人。
在 Speech-02 中，流匹配模型旨在模擬連續語音特徵（潛在）的分佈，這些特徵是從音訊訓練的編碼器 – 解碼器模組架構中提取的，而不是梅爾頻譜圖。
通常來講，傳統的 VAE 假設其潛在空間服從簡單的標準高斯分佈，相比之下，Flow-VAE 引入了一個流模型，該模型可以靈活地使用一系列可逆對映來變換潛在空間，從而更準確地捕捉資料中的複雜模式。
更進一步，MiniMax 還搞了個雙保險設計，即將全域性音色資訊和提示資訊結合起來。具體而言，Speaker 編碼器會從聲音中提取全域性音色特徵 —— 就像提取一個人的「聲音 DNA」。訓練時，當前句子開頭的資訊會以一定的機率被用作提示。因此在推理階段，模型支援零樣本和單樣本合成模式。
可以說，經過一系列操作，Speech-02 不僅可以模仿聲音的「形」，還能復現聲音的「神」。
正是基於這些強有力的技術支撐，才使得 Speech-02 一舉超越 OpenAI、ElevenLabs 等競品模型。
文生音色
現有的 TTS 方法生成所需音色的語音需要提供該特定音色的參考音訊樣本，這一要求可能會限制其操作靈活性。
相比之下，MiniMax引入了一個 T2V 框架，該框架獨特地將開放式自然語言描述與結構化標籤資訊相結合。作為參考音訊驅動的speaker編碼器（擅長克隆現有語音）的補充，該方法促進了高度靈活且可控的音色生成，從而顯著增強了 TTS 系統的多功能性。
這裡，我們聽個Demo，聲音描述：說中文的女青年，音色偏甜美，語速比較快，說話時帶著一種輕快的感覺整體音調較高，像是在直播帶貨，整體氛圍比較活躍，聲音清晰，聽起來很有親和力。
親愛的寶寶們，等了好久的神仙面霜終於到貨啦！你們看這個包裝是不是超級精緻？我自己已經用了一個月了，效果真的絕絕子！而且這次活動價真的太划算了，錯過真的會後悔的哦～
多指標趕超競品模型
語音克隆保真度、多語言與跨語言語音合成等多個關鍵維度的綜合評估結果，有力驗證了 Speech-02 的「含金量」。
首先來看語音克隆保真度指標，從下表可以看到，與 Seed-TTS、CosyVoice 2 和真實音訊相比，Speech-02 在中英文的零樣本語音克隆中均實現了更低的 WER，表明其發音錯誤率更低且更清晰穩定。
此外，零樣本語音克隆的 WER 表現也顯著優於單樣本。並且根據聽眾的主觀評價反饋，零樣本克隆合成的語音聽起來更自然、真實。
在多語言方面，Speech-02著重與ElevenLabs的multilingual_v2模型進行對比，兩者均採用零樣本克隆來生成語音。
在 WER 方面，Speech-02與multilingual_v2表現相當。在中文、粵語、泰語、越南語、日語等幾種語言上，multilingual_v2的WER均超過了10%，而 Speech-02 的表現明顯更優。這意味著，在捕捉並復現這些具有複雜聲調系統或豐富音素庫的語言時，multilingual_v2 處於絕對劣勢。
在 SIM 方面，Speech-02 在所有 24 種測試語言中均顯著優於 multilingual_v2，無論目標語言的音系特徵如何，前者生成的克隆語音更接近真人原始聲音。
在跨語言方面，下表多語言測試結果展示了零樣本語音克隆下更低的 WER，證明 Speech-02 引入的 speaker 編碼器架構的優越性，可以做到「一個語音音色」支援其他更多目標語言並且理解起來也較容易。
更多技術與實驗的細節，大家可以參閱原技術報告。
技術報告地址：https://minimax-ai.github.io/tts_tech_report/
實戰效果如何？
我們上手進行了一些實測，發現可以用三個關鍵詞來總結 Speech-02 的亮點 —— 超擬人、個性化、多樣性，在這些層面迎來脫胎換骨的升級。
第一，超擬人。
Speech-02 預置了極其豐富（數以百計）的多語言聲音庫，每一個都有其獨特的音色和情感語調。
從合成音效來看，Speech-02 的相似度和表現力非常出色，情緒表達到位，音色、口音、停頓、韻律等也與真人無異。錯誤率上比真人更低，也更穩定。
我們用柔和低語的女聲來朗誦莎士比亞《哈姆雷特》中的經典獨白 ——To be, or not to be 片段，是不是很催眠呢？
第二，個性化。
核心是「聲音參考」（Voice Clone）功能，只需提供一段示範音訊或者直接對著模型說幾句話，模型就可以學會這種聲音，並用這個聲音來演繹內容。目前該功能只在海外網頁版上線，國內僅對 B 端使用者開放。
從行業來看，其他頭部語音模型只能提供少數幾個精品音色的控制。而 Speech-02 透過聲音參考功能可以靈活控制任意給定聲音，提供了更多選擇和更大自由度。
小編試著錄製了一段自己的聲音，十幾秒後就得到了專屬的 AI 克隆語音。
接著上傳了蘇軾的名篇《江城子・乙卯正月二十日夜記夢》，這是一首他寫給已故妻子的悼亡詞。由於 Speech-02 可以對音色進一步進行情緒控制，這裡選擇了悲傷「sad」，並調慢了語速。
除了悲傷之外，Speech-02 還有快樂、生氣、恐懼、厭惡、驚訝、中立其他情緒可選。
最終的效果是這樣的，節奏舒緩、情感也比較充沛：
總結一波，Speech-02 的「個性化」有以下三點關鍵影響：
-
促成了業內首個實現「任意音色、靈活控制」的模型；
-
讓每一個音色都能有好的自然度和情感表現力；
-
使用者就是導演，音色就是演員。使用者可以根據自己想要的效果用文字來指導演員表演。
第三，多樣性。
Speech-02 支援 32 種語言，並尤為擅長中英、粵語、葡萄牙語、法語等語種。
下面來聽一段融合了中文、英語和日語的長段落，讀起來一氣呵成：
昨天我去參加了一個國際會議，遇到了很多 interesting people from all around the world. 有一位日本代表和我分享了他們的新技術，他說「私たちの新しい技術は市場を変革するでしょう」，這確實令人印象深刻。之後我們去了附近的餐廳，服務員問我們 '¿Qué les gustaría ordenar para cenar?'，我只好笑著用英語回答 'Sorry, I don't speak Spanish, but I'd love to try your signature dish'。
這種跨文化交流的體驗 really makes you appreciate the diversity of our world，不是嗎？下次我一定要多學習幾句常用的外語 phrases，這樣交流起來會更加 smooth and natural.
對於同一段音訊，Speech-02 也可以輕鬆切換不同語言。我們將上面蘇軾的《江城子》切換成了粵語：
隨著高質量、多維度語音能力的極致釋放，Speech-02 一躍成為了「全球首個真正實現多樣化、個性化定義的語音模型」。
這將進一步推動語音 AI 走向千人千面的智慧互動體驗，為 MiniMax 在「AI 人格化」的技術與應用浪潮中搶佔先機。
體驗地址：https://www.minimax.io/audio/text-to-speech
技術領先只是第一步
能落地才能發揮價值
作為一家成立於 2021 年的大模型廠商，MiniMax 從創立之初即聚焦面向 C 端和 B 端的 AI 產品，強調「模型即產品」理念，其文字模型、語音模型與影片模型已經形成了一條完整的產品鏈，比如海螺 AI。
在語音大模型領域，MiniMax 在深耕底層技術的同時，持續探索語音助手、聲聊唱聊、配音等不同場景的落地方案，推動智慧語音內容創作向更高效、更個性化、更情感化演進；同時接入 MiniMax 語音大模型的 AI 硬體逐漸增多，並擴充套件到兒童玩具、教育學習機、汽車智慧座艙、機器人等賽道，加速商業化程序。
MiniMax 正依託其語音大模型，聯合行業上下游構建更豐富、更垂直的智慧互動生態。過程中也向外界透露出這樣一種跡象：語音大模型技術正迎來從技術成熟走向規模應用的關鍵拐點。
© THE END
轉載請聯絡本公眾號獲得授權
投稿或尋求報道：[email protected]