在 GenAI 的浪潮下，各行各業(yè)正迎來(lái)全新的變革，作為 AI 載體的智能硬件行業(yè)也不例外，一方面，AIGC 與機(jī)器人的結(jié)合，推動(dòng)具身智能產(chǎn)業(yè)快速發(fā)展，科幻電影里善解人意的清掃機(jī)器人“瓦力”、醫(yī)療機(jī)器人“大白”正在走進(jìn)現(xiàn)實(shí)。另一方面，以智能手表、智能眼鏡、智能耳機(jī)為首的穿戴式智能硬件與多模態(tài)大模型的結(jié)合也成為當(dāng)下的新趨勢(shì)。

在2017年以天貓精靈、小愛(ài)同學(xué)、小度等語(yǔ)音助手驅(qū)動(dòng)的智能設(shè)備被視為第一批 AI 硬件革命，這類(lèi)智能設(shè)備雖然經(jīng)過(guò)多年的市場(chǎng)教育已逐漸融入了我們的生活，成為不少家庭的語(yǔ)音助手，但其中 AI 的智能化還較為初級(jí)。近兩年伴隨 GenAI 的興起，更智能化的多模態(tài)大模型賦予了智能硬件新的生命，帶來(lái)全新的人機(jī)交互體驗(yàn)，催生智能硬件行業(yè)新的變革。

智能硬件+多模態(tài)大模型穿戴式設(shè)備交互體驗(yàn)迎來(lái)變革

聲網(wǎng)經(jīng)過(guò)市場(chǎng)調(diào)研發(fā)現(xiàn)，目前多模態(tài)大模型在智能硬件場(chǎng)景的落地主要以智能眼鏡、智能手表、智能耳機(jī)等穿戴式設(shè)備為主，同時(shí)在智能門(mén)鈴、智能陪伴玩具等 IoT 場(chǎng)景也有一些應(yīng)用。不同場(chǎng)景展現(xiàn)出的用戶(hù)需求與場(chǎng)景特點(diǎn)存在一定的差異化，例如：

• 智能手表：智能兒童手表是多模態(tài)大模型最早落地 IoT 行業(yè)的硬件場(chǎng)景之一，目前 360兒童手表、小天才等兒童手表中已率先集成應(yīng)用。流暢的 AI 互動(dòng)問(wèn)答可以填充兒童空閑時(shí)間，智能化的回答也為兒童帶來(lái)了知識(shí)科普的價(jià)值，起到教育學(xué)習(xí)的輔助作用。同時(shí)，智能手表的屏幕較小，對(duì)語(yǔ)音交互的訴求更強(qiáng)，加入對(duì)話(huà)式 AI 顯得更順其自然。

• 智能眼鏡：不同于將重點(diǎn)放在虛擬與現(xiàn)實(shí)結(jié)合的AR眼鏡，智能眼鏡更加注重通過(guò) AI 提升語(yǔ)音交互能力，今年 Meta 聯(lián)合雷朋推出的「Ray-Ban Meta」智能眼鏡就是代表產(chǎn)品。通過(guò)在智能眼鏡中加入攝像頭、AI 等功能，用戶(hù)可通過(guò)語(yǔ)音交互讓眼鏡來(lái)幫助工作&日程安排，或者開(kāi)啟百科問(wèn)答、學(xué)習(xí)輔助、英文翻譯、語(yǔ)音導(dǎo)航、超擬人情感陪伴及音樂(lè)娛樂(lè)等功能。

在 AI 與 RTC 能力的加持下，智能眼鏡可以支持第一視角音視頻回傳（包含音視頻通話(huà)、視頻錄制、直播等），還支持實(shí)時(shí)翻譯、同聲傳譯等場(chǎng)景，搭配手勢(shì)識(shí)別，實(shí)現(xiàn)跨語(yǔ)言環(huán)境的語(yǔ)義理解。

圖：「Ray-Ban Meta」智能眼鏡

• 智能耳機(jī)：智能耳機(jī)與大模型的結(jié)合主要集中在實(shí)時(shí)翻譯、情感交流、錄音轉(zhuǎn)寫(xiě)等核心功能，在實(shí)時(shí)翻譯方面，智能耳機(jī)目前主要應(yīng)用在1對(duì)1翻譯，支持雙方對(duì)話(huà)過(guò)程隨時(shí)發(fā)言，無(wú)需等待翻譯完成或?qū)Ψ桨l(fā)言結(jié)束，適合雙人會(huì)議、差旅、教學(xué)、社交等高頻深度對(duì)話(huà)場(chǎng)景，代表產(chǎn)品有三星 Galaxy Buds 系列無(wú)線(xiàn)耳機(jī)、時(shí)空壺 W4 Pro等。同時(shí)，借助 RTC 的能力，在智能耳機(jī)中還能實(shí)現(xiàn)多人同頻道、AI降噪等功能。

在情感交流方面，代表產(chǎn)品有當(dāng)下熱門(mén)的 Ola Friend 智能耳機(jī)，該產(chǎn)品可實(shí)現(xiàn)英語(yǔ)陪練、旅行導(dǎo)游、情感交流等功能。開(kāi)發(fā)者如想快速上線(xiàn)此類(lèi)型的智能耳機(jī)，聲網(wǎng)可以提供快速、已用、完整的解決方案，并采用了靈活可擴(kuò)展的 AI Agent架構(gòu)，具備工作流編排能力，開(kāi)發(fā)者與企業(yè)可自主選擇 LLM 等組件，根據(jù)特定需求定制和擴(kuò)展 AI 驅(qū)動(dòng)的實(shí)時(shí)互動(dòng)體驗(yàn)。

• 智能門(mén)鈴：在智能門(mén)鈴等IPC場(chǎng)景，加入 AI 大模型的能力，可通過(guò)攝像頭實(shí)時(shí)識(shí)別并理解視頻內(nèi)容，實(shí)現(xiàn)設(shè)備無(wú)人值守場(chǎng)景下的自定義交互，如：外賣(mài)、快遞上門(mén)，在家中無(wú)人時(shí)，門(mén)鈴可自動(dòng)識(shí)別并應(yīng)答，指導(dǎo)快遞員將貨物放到指定位置。

此外，在GenAI 的趨勢(shì)下，IoT 行業(yè)還出現(xiàn)了智能陪伴機(jī)器人、智能兒童毛絨玩具、智能戒指等一系列智能硬件場(chǎng)景，帶來(lái)不同硬件終端下的 AI 語(yǔ)音交互體驗(yàn)。

聲網(wǎng) AI x IoT 智能硬件解決方案低功耗、低延時(shí)、低成本

聲網(wǎng)作為全球?qū)崟r(shí)互動(dòng)云行業(yè)的開(kāi)創(chuàng)者，一直在探索 GenAI 與 RTE 結(jié)合帶來(lái)的體驗(yàn)提升和場(chǎng)景創(chuàng)新，此前發(fā)布了實(shí)時(shí)多模態(tài)對(duì)話(huà)式 AI 解決方案，在此基礎(chǔ)上，針對(duì) IoT 行業(yè)的特殊性，聲網(wǎng)探索出了 AI x IoT 智能硬件解決方案，該方案能夠在低功耗、低算力芯片上快速實(shí)現(xiàn)大模型的接入，具備低延時(shí)實(shí)時(shí)互動(dòng)、低成本靈活適配的特性，通過(guò)豐富的功能在智能硬件場(chǎng)景中構(gòu)建真實(shí)、自然的 AI 語(yǔ)音交互體驗(yàn)。

例如對(duì)交互延遲進(jìn)行優(yōu)化，語(yǔ)音交互延時(shí)低至1s內(nèi)；支持多模態(tài) AI 語(yǔ)義識(shí)別和理解；支持 AI降噪，保證清晰的語(yǔ)音交互；支持小包體、低內(nèi)存、低功耗；適配支持70+主流、高性?xún)r(jià)比的芯片等，幫助開(kāi)發(fā)者與企業(yè)快速構(gòu)建適配自己硬件的 AI 實(shí)時(shí)語(yǔ)音對(duì)話(huà)服務(wù)。

圖：聲網(wǎng) AI x IoT 智能硬件解決方案架構(gòu)圖

1、毫秒級(jí)人機(jī)交互體驗(yàn)：聲網(wǎng) AI x IoT 智能硬件解決方案進(jìn)一步優(yōu)化了端到端互動(dòng)體驗(yàn)，實(shí)現(xiàn)人與設(shè)備之間基于 LLM 的毫秒級(jí)互動(dòng)體驗(yàn)。通過(guò)在客戶(hù)端進(jìn)行低延遲的音頻采集和播放、借助聲網(wǎng)自研的 SD-RTN? 實(shí)時(shí)傳輸網(wǎng)絡(luò)實(shí)現(xiàn)全球范圍的低延時(shí) RTC 傳輸，并進(jìn)一步通過(guò)更快速的 LLM 推理首字耗時(shí)、低延遲流式 TTS、同機(jī)部署等一系列技術(shù)手段，保證對(duì)話(huà)的實(shí)時(shí)性與流暢性。

2、文本/圖像/音頻/視頻的多模態(tài)交互：在智能硬件場(chǎng)景，聲網(wǎng)的解決方案同樣支持文本/圖像/音頻/視頻的組合輸入&輸出，同時(shí)開(kāi)發(fā)者與企業(yè)也無(wú)需額外集成 STT、TTS 等模塊化組件，一套方案就能快速構(gòu)建 AI 實(shí)時(shí)語(yǔ)音對(duì)話(huà)服務(wù)。

3、聚焦關(guān)鍵信息，提升語(yǔ)義理解度：在 GenAI 場(chǎng)景，能否支持隨時(shí)打斷也成為衡量大模型智能化的重要指標(biāo)，聲網(wǎng)的解決方案也支持先進(jìn)的 AI-VAD 技術(shù)，可實(shí)現(xiàn)靈敏的自然語(yǔ)音打斷，模擬人類(lèi)對(duì)話(huà)的自然流動(dòng)，讓對(duì)話(huà)更加真實(shí)、自然。

4、AI降噪保障語(yǔ)音對(duì)話(huà)清晰、順暢：針對(duì)語(yǔ)音對(duì)話(huà)中經(jīng)常會(huì)出現(xiàn)的噪音、回聲等問(wèn)題，聲網(wǎng)擁有行業(yè)領(lǐng)先的音頻 3A 能力，通過(guò)AI噪聲抑制、背景人聲過(guò)濾、音樂(lè)檢測(cè)/過(guò)濾等算法，確保人與 AI 的對(duì)話(huà)不受環(huán)境干擾，始終保持順暢。

5、實(shí)現(xiàn)多模態(tài) AI 能力普適，實(shí)現(xiàn)任意可視設(shè)備的智能化體驗(yàn)：在硬件場(chǎng)景構(gòu)建音視頻互動(dòng)需要特別注意 SDK 對(duì)芯片、系統(tǒng)的適配性以及包體的體積等。聲網(wǎng)的解決方案適配支持 70+ 主流、高性?xún)r(jià)比的芯片/模組，例如：展銳 Cat.1系列芯片、樂(lè)鑫 ESP32-S2/S3、BK 7256、BK7258、杰理AC7916、博流BL808等 RTOS 芯片，以及高通、聯(lián)發(fā)科、君正、Sigmastar、全志、海思、Mstar 等 70+ Linux 芯片。

集成包體積增量也＜400KB，支持在 RTOS、EmbedLinux 等低功耗系統(tǒng)流暢運(yùn)行，同時(shí) SDK 還支持 PCM、G711U/A、G722、AAC、OPUS 等多種音頻格式。