OpenAI真的開源了！這波「嵌入式即時語音」操作，讓萬物開口說話，我愛了

2025-05-13 23:08 夕小瑤科技說

家人們！OpenAI 這 12 天的連續劇大家都追完了嗎？別急著下線！
還記得上週四 OpenAI 直播時桌上那個萌萌的麋鹿毛絨玩具嗎？當時釋出者就現場演示了和它的即時互動，效果和真人聊天一樣流暢！
當時，都把注意力放在了釋出內容上，忽略了這個毛絨玩具。但現在回想起來，那隻麋鹿的“能說會道”，其實正是 OpenAI 今天才正式揭曉的“謎底”——他們開源了一個叫做嵌入式即時語音 SDK 的東西！

開源網址：

https://github.com/openai/openai-realtime-embedded-sdk

這個Realtime  Embedded SDK 到底是是什麼呢？簡單點說，就是一個“大腦”，能裝進各種小玩意兒裡，能讓各種裝置（比如毛絨玩具）具備即時語音互動的能力。
就像直播裡的那隻麋鹿，它能聽懂你的問題，然後用自然流暢的語音跟你聊天，就是這個 SDK 的功勞！
以前，智慧玩具裡只能播放預設的程式和聲音，頂多就是進行一兩輪簡單提問，你可以理解成是“單向輸出”，現在有了這個 openAI 的即時語音軟體開發包，就變成了“雙向互動”，能和你進行即時的語音對話。
現在，可以把 OpenAI 的高階語音功能搬進了各種小玩意兒裡了，不僅是玩具，還能是各種裝置。
具體一起來看看這個 SDK 怎麼玩兒的 ～
首先，OpenAI 指出，這個 SDK 已經在 esp32s3 和 Linux 上完成了測試。如果使用的是 Linux 系統，無需額外的硬體即可執行此 SDK。如果打算在硬體上使用 SDK，可以選擇購買以下支援的微控制器：
  1. Freenove ESP32-S3-WROOM
  2. Sonatino – ESP32-S3 音訊開發板
esp32s3 ，學過微控制器的小夥伴都比較清楚，是一款微控制器晶片，如圖長這個樣子：
ESP32-S3 是一款由 Espressif Systems（樂鑫科技） 設計和生產的微控制器晶片，屬於 ESP32 系列，是專為物聯網 (IoT) 應用開發的低功耗、高效能晶片.
這個開源的 SDK 能讓小型硬體裝置（比如 ESP32 這樣的微控制器）輕鬆接入 OpenAI 的即時語音服務，同時還能透過 WiFi 與雲端的 AI 模型即時互動。當然，它也能在 Linux 系統上跑起來，讓你隨時隨地和裝置進行即時對話。
意思是，給你的玩具、家電或任何小物件裝上這套方案，只要幾行簡單程式碼，你的毛絨玩具、眼鏡，甚至家裡的任何一個小物件，都能透過這塊晶片和幾行簡單的程式碼，搖身一變，成為你的貼心小助手！
總之，我的奧特曼玩具未來馬上就可以和我交流了！！
OpenAI 帶貨能力也真牛！最近在淘寶上，ESP32 的零件和配件價格漲得飛快，好多東西都買不到了。比如，以前只要 2 塊錢的音訊解碼晶片，現在 10 個起賣，價格最高能到 9 塊錢一個。。。。不光是晶片，連帶的音訊放大器和麥克風這些配件價格也都都偷偷漲價。
再說回這個 SDK，
Realtime Embedded SDK 提供了全套工具鏈支援，包括安裝、構建和部署等各個環節，大幅簡化了將 AI 功能引入微型裝置的過程。只需完成 WiFi 配置 和 OpenAI API 金鑰 設定，便能讓裝置即時接入雲端 AI。
在使用這款 SDK 時，開發者只需：
  1. 安裝必要的依賴（如 protobufc）；
  2. 使用 set-target 命令指定目標平臺（例如 ESP32S3 或 Linux）；
  3. 配置 WiFi 和 OpenAI API 金鑰；
  4. 最後進行構建和部署。
透過簡單的安裝步驟，就可以開始語音互動了 ～

protoc must be 

in

 your path with protobufc installed.  

Call 

set

-target with the platform you are targetting. Today only linux and esp32s3 are supported.  

idf.py 

set

-target esp32s3  

Configure device specific settings. None needed at this time  

idf.py menuconfig  

Set your Wifi SSID + Password as env variables  

export

 WIFI_SSID=foo  

export

 WIFI_PASSWORD=bar  

export

 OPENAI_API_KEY=bing  

Build  

idf.py build  

If you built 

for

 esp32s3 run the following to flash to the device  

sudo -E idf.py flash  

If you built 

for

 linux you can run the binary directly  

./build/src.elf  

See <u>build.yaml</u> 

for

 a Docker 

command

 to 

do

 this all 

in

 one step.

奶茶發現網友們已經動手用這個 SDK 製作各種語音互動裝置了！
最近很熱門的賽道-AI 玩具，這些看似普通的毛絨玩具，實則內藏乾坤，擁有強大的智慧互動能力。
它們不僅能進行日常對話，還能解答各類知識問題，更能支援多語言學習。此外，它們還具備個性化互動功能，能夠感知使用者的情緒變化，並給予相應的情感支援。
除了名聲最大的由字節跳動推出的 AI 陪伴玩偶“顯眼包”外，像 FoloToy 等 AI 玩具初創公司也能在短短幾個月內狂銷近六位數。
根據市場調研機構 Contrive Datum Insights 的預測，到 2030 年，全球 AI 玩具市場的規模有望達到 351.1 億美元。。。
還有之前火出圈的 aibi 口袋機器人，桌寵裝置等等，OpenAI 這次開源的嵌入式即時語音 SDK，無疑是給這些裝置送了個“外掛”。
大膽預測一下，未來幾年，這個賽道將會迎來爆發式增長。

相關文章