新智元報道
新智元報道
編輯：JNZ
【新智元導讀】就在今天凌晨，OpenAI的全新音訊模型上線了！語音智慧體的時代正式開啟了！現在可以利用新的語音模型，指導GPT-4o的說話語氣：想溫柔就溫柔，讓瘋狂就瘋狂！而且，定價也很親民，比上一代語音模型更便宜。
就在今天凌晨，OpenAI的全新音訊模型上線了！
這次，一共釋出了三款全新語音識別模型gpt-4o-transcribe、gpt-4o-mini-transcribe、gpt-4o-mini-tts，正式開啟了語音智慧體的時代。
三款模型的語音轉文字和文字轉語音的功能，讓開發者能輕鬆構建智慧體。
在價格上，也有大驚喜：API價格，最低達到了每分鐘0.3美分！
跟昨天的o1-pro API的天價token相比，語音模型的API真可謂是良心價了。
要知道，昨天的OpenAI史上最貴API，輸入價格150美元/每百萬token，輸出價格600美元/每百萬token，比DeepSeek-R1要貴上千倍。
這也就意味著，以後像客服中心記錄電話或者記錄會議內容這樣的工作，都會變得更可靠，更方便，甚至更便宜！
語音轉文字的兩個全新模型，比起之前又來了一波大升級，比OpenAI原來的Whisper模型更準確，能更好地理解人類語音。
在多種語言上，有更低的詞錯誤率（WER）。
最新語音轉文字STT模型，減少了在FLEURS上的轉錄錯誤率WER
其中，語音轉文字GPT-4o-Transcribe在API中可用，每分鐘僅0.6美分，與Whisper價格相同，而GPT-4o-Mini-Transcribe是0.3美分，是滿血版的半價。
其他模型為OpenAI上一代語音模型
這些新模型可以透過API來使用，讓開發者能建立更智慧、更個性化的語音助手。
從而更好地理解各種口音和快速說話，甚至在嘈雜的環境中也表現良好。
另外，OpenAI還推出了一個新的TTS（文字轉語音）模型：gpt-4o-mini-tts。
現在，OpenAI已經開放了免費體驗地址，只要輸入文字，就可以生成語音，還能選不同的語氣。
API體驗地址：https://www.openai.fm/
現場實測
昨天凌晨的直播中，OpenAI給我們現場懟臉實測，展示了一番新的TTS模型實際表現到底怎麼樣。
首先，他們的VOICE（音色）選擇了Ash，然後在VIBE（大概是情感的意思）中隨機出了Mad Scientist（瘋狂科學家）。
之後輸入了需要合成音訊的指令碼：
Ah-ha-ha! The stars tremble before my genius! The rift is open, theenergy surging-unstable? Perhaps. Dangerous? Most certainly! Captain Rylen's hands twitch over the controls. Fools! They hesitate, but I-I alone see the future! 「Engage the thrusters!」 I bellow, eyes wild with possibility. The ship lurches, metal groaning-oh, what delicious chaos! Light bends,time twists,and then-800M! Silence. Darkness. And then. oh-ho! A new universe! Bigger! Stranger! Andmine for the taking! Ah-ha-ha-ha!
首次嘗試的時候沒輸出，不過重新整理後很快模型正常輸出音訊，大家可以透過下邊影片感受一下模型的效果。
可以聽得出，合成的語音質量還是挺高的，基本上沒有多少AI味了，甚至還有一些高階感。
語音清晰，但語氣狂得飛起，聽起來就像一本正經的吹牛。
接著，他們又換了另一種VIBE：Serene（寧靜），輸入了下面的合成指令碼：
This livestream is going really well! You are doing great.
這次的語音效果就顯得十分平靜，給人一種寧靜感，就像李白《靜夜思》的意境一樣。
還可以利用全新的的語言模式，直接呼叫智慧體！
從今以後，文字智慧體轉換為語音智慧體變得輕而易舉。
直播中，演示了要在電話上使用Patagonia客服智慧體，需要修改已有智慧體的哪些程式碼。
只用9行程式碼，智慧體不僅聽得懂人話，而且會開口說話了！
就像AI版的Siri，可以直接詢問最近的訂單，智慧體聽起來就像真的客服一樣。
Agent呼叫工具，獲得相關資訊後，回答自然，準確，流暢。
直播的結尾，還有一個小彩蛋。
OpenAI現場宣佈舉辦有獎競賽，可獲得全球限定版收音機：
誰能想出最有創意的文字轉語音使用方式，並分享給Open AI的Twitter賬戶，就有機會獲得特別版收音機。 他們會選出3位獲獎者，可能是因為這款收音機全世界只有三臺，背面有Open AI的logo。
創意爆棚的小夥伴可以去碰碰運氣。
OpenAI，意在語音Agent
OpenAI在部落格中稱，新的語音模型套件旨在為語音Agent提供強大支援，並已向全球開發者開放。
在最近幾個月裡，OpenAI一直在努力讓文字智慧助手變得更聰明、更強大、更有用。
OpenAI推出了很多Agent產品，比如Operator、Deep Research、Computer-Using Agents和Responses API，這些都是為了幫助AI助手更好地完成任務。
但是，為了讓智慧助手真正有用，需要讓AI能和人更自然、更深入地交流，就像我們和朋友聊天一樣。
所以，OpenAI讓智慧助手不僅能理解我們的話，還能用自然的聲音回答我們。
現在，開發者還可以讓智慧助手的語音聽起來更人性化，比如聽起來像一位溫柔的客服人員。這樣，智慧助手就能更好地為客服、講故事等不同的場合服務。
自從2022年推出第一個音訊模型以來，OpenAI一直在努力讓AI變得更聰明、更準確、更可靠。
現在，開發者可以用這些新的音訊模型來建立更準確的語音轉文本系統和聽起來更自然的文字轉語音系統。
所有這些功能都可以透過API來實現。
全球領先的語音識別模型
昨天，OpenAI推出了兩款新的語音識別模型：gpt-4o-transcribe和gpt-4o-mini-transcribe。
它們比原來的Whisper模型更準確，能更好地理解我們說的話。
在幾個重要的測試中，gpt-4o-transcribe表現比Whisper模型好，錯誤更少。
這是因為OpenAI用了更先進的學習方法和更多音訊資料。
這些新模型能更好地理解人說話的細節，減少錯誤，特別是在有口音、很吵或者說話很快的情況下。
現在，這些模型已經可以在OpenAI的語音轉文字API中使用了。
新模型在多個測試中都取得了更低的WER，包括一個包含100多種語言的測試。這表明新模型在更多的語言上都能表現得很好。
指標「詞錯誤率」（word error rate，WER）用於衡量語音識別的準確性：WER越低，表示模型越準確。
頂級模型在FLEURS上，不同語言的的WER比較
如圖所示，新模型在大多數主要語言上的表現都優於其他領先的模型。
這意味著OpenAI的語音識別技術，在全球範圍內都是領先的。
全新文字轉語音TTS模型
OpenAI還推出了全新的gpt-4o-mini-tts 模型，具有更好的可控性。
開發者們有福啦！現在可以對模型 「發號施令」，不僅能告訴模型該說啥，還能教它怎麼說。
不管是搞客戶服務，還是進行創意故事創作，都能有超棒的定製體驗。
目前，已經在文字轉語音API裡上線。
不過要注意，現在文字轉語音模型只有人工預設的聲音。
OpenAI會緊緊盯著，保證出來的聲音和預設的合成聲音一模一樣。
模型背後的技術創新
在真實音訊資料上預訓練
在GPT-4o和GPT-4o-mini架構之上，新的音訊模型在專門的以音訊為中心的資料集上進行了大量預訓練。
這些資料集對於最佳化模型效能至關重要。
這種有針對性的方法使得模型能更好地理解語音中的細微差別，從而在音訊相關任務中表現出色。
先進的蒸餾方法
OpenAI還改進了蒸餾技術，使得大型音訊模型能夠將知識有效地轉移到更小、更高效的模型中。
透過採用先進的自我博弈方法，蒸餾資料整合功捕捉了真實的對話動態，模擬了真實的使用者與助手的互動。
這幫助小型模型在對話質量和響應性上表現優秀。
強化學習正規化
對於語音轉文字STT模型，OpenAI引入了強化學習（RL）正規化，讓轉錄準確度達到了最先進的水平。
這種方法顯著提高了精準度，並減少了幻覺，在複雜語音識別場景中具備了極強的競爭力。
這些技術進展代表了音訊建模領域的突破，結合創新的方法和實際的增強，提升了語音應用的效能。
API全球開放
這些新音訊模型現已向所有開發者開放。
更多關於如何使用音訊的內容，參閱OpenAI的相關文件。
API文件：https://platform.openai.com/docs/guides/audio
新增語音轉文字和文字轉語音模型，最簡便方式的構建語音代理。
OpenAI還發布了與Agents SDK的整合，開發過程更加簡單。
如果開發者希望構建低延遲的語音轉語音體驗，OpenAI建議使用語音轉語音模型來構建即時API。
OpenAI還提供了簡單的Demo，點選下展示頁面Play按鈕，即可體驗人性化的機器語音。
如需體驗，在https://www.openai.fm/上，點選右上角切換按鈕即可
未來計劃：多模態AI
展望未來，OpenAI計劃繼續投資於提升音訊模型的智慧性和準確性，並探索允許開發者引入自定義聲音的方式，從而打造更個性化的體驗，同時遵循安全標準。
此外，將繼續與政策制定者、研究人員、開發者和創作者進行對話，共同探討合成語音所帶來的挑戰與機遇。
OpenAI期待看到開發者利用這些增強的音訊能力，打造出創新和創意應用。
同時，也會投資於其他媒體形式——包括影片——以便開發者能夠構建多模態的智慧體驗。
參考資料：
https://platform.openai.com/docs/pricing#transcription-and-speech-generation
https://www.youtube.com/live/lXb0L16ISAc
https://www.openai.fm/
https://openai.com/index/introducing-our-next-generation-audio-models/