應用

技術

物聯(lián)網(wǎng)世界 >> 物聯(lián)網(wǎng)新聞 >> 物聯(lián)網(wǎng)熱點新聞
企業(yè)注冊個人注冊登錄

GenAI浪潮下 智能硬件如何實現(xiàn)低延時AI語音交互

2024-10-12 11:01 聲網(wǎng)

導讀:智能硬件迎來GenAI時代

在 GenAI 的浪潮下,各行各業(yè)正迎來全新的變革,作為 AI 載體的智能硬件行業(yè)也不例外,一方面,AIGC 與機器人的結合,推動具身智能產(chǎn)業(yè)快速發(fā)展,科幻電影里善解人意的清掃機器人“瓦力”、醫(yī)療機器人“大白”正在走進現(xiàn)實。另一方面,以智能手表、智能眼鏡、智能耳機為首的穿戴式智能硬件與多模態(tài)大模型的結合也成為當下的新趨勢。

在2017年以天貓精靈、小愛同學、小度等語音助手驅動的智能設備被視為第一批 AI 硬件革命,這類智能設備雖然經(jīng)過多年的市場教育已逐漸融入了我們的生活,成為不少家庭的語音助手,但其中 AI 的智能化還較為初級。近兩年伴隨 GenAI 的興起,更智能化的多模態(tài)大模型賦予了智能硬件新的生命,帶來全新的人機交互體驗,催生智能硬件行業(yè)新的變革。

智能硬件+多模態(tài)大模型穿戴式設備交互體驗迎來變革

聲網(wǎng)經(jīng)過市場調研發(fā)現(xiàn),目前多模態(tài)大模型在智能硬件場景的落地主要以智能眼鏡、智能手表、智能耳機等穿戴式設備為主,同時在智能門鈴、智能陪伴玩具等 IoT 場景也有一些應用。不同場景展現(xiàn)出的用戶需求與場景特點存在一定的差異化,例如:

  • 智能手表:智能兒童手表是多模態(tài)大模型最早落地 IoT 行業(yè)的硬件場景之一,目前 360兒童手表、小天才等兒童手表中已率先集成應用。流暢的 AI 互動問答可以填充兒童空閑時間,智能化的回答也為兒童帶來了知識科普的價值,起到教育學習的輔助作用。同時,智能手表的屏幕較小,對語音交互的訴求更強,加入對話式 AI 顯得更順其自然。

  • 智能眼鏡:不同于將重點放在虛擬與現(xiàn)實結合的AR眼鏡,智能眼鏡更加注重通過 AI 提升語音交互能力,今年 Meta 聯(lián)合雷朋推出的「Ray-Ban Meta」智能眼鏡就是代表產(chǎn)品。通過在智能眼鏡中加入攝像頭、AI 等功能,用戶可通過語音交互讓眼鏡來幫助工作&日程安排,或者開啟百科問答、學習輔助、英文翻譯、語音導航、超擬人情感陪伴及音樂娛樂等功能。

在 AI 與 RTC 能力的加持下,智能眼鏡可以支持第一視角音視頻回傳(包含音視頻通話、視頻錄制、直播等),還支持實時翻譯、同聲傳譯等場景,搭配手勢識別,實現(xiàn)跨語言環(huán)境的語義理解。

9bd61490fa5e3c60c028d2921342b148.png

圖:「Ray-Ban Meta」智能眼鏡

  • 智能耳機:智能耳機與大模型的結合主要集中在實時翻譯、情感交流、錄音轉寫等核心功能,在實時翻譯方面,智能耳機目前主要應用在1對1翻譯,支持雙方對話過程隨時發(fā)言,無需等待翻譯完成或對方發(fā)言結束,適合雙人會議、差旅、教學、社交等高頻深度對話場景,代表產(chǎn)品有三星 Galaxy Buds 系列無線耳機、時空壺 W4 Pro等。同時,借助 RTC 的能力,在智能耳機中還能實現(xiàn)多人同頻道、AI降噪等功能。

在情感交流方面,代表產(chǎn)品有當下熱門的 Ola Friend 智能耳機,該產(chǎn)品可實現(xiàn)英語陪練、旅行導游、情感交流等功能。開發(fā)者如想快速上線此類型的智能耳機,聲網(wǎng)可以提供快速、已用、完整的解決方案,并采用了靈活可擴展的 AI Agent架構,具備工作流編排能力,開發(fā)者與企業(yè)可自主選擇 LLM 等組件,根據(jù)特定需求定制和擴展 AI 驅動的實時互動體驗。

  • 智能門鈴:在智能門鈴等IPC場景,加入 AI 大模型的能力,可通過攝像頭實時識別并理解視頻內容,實現(xiàn)設備無人值守場景下的自定義交互,如:外賣、快遞上門,在家中無人時,門鈴可自動識別并應答,指導快遞員將貨物放到指定位置。

此外,在GenAI 的趨勢下,IoT 行業(yè)還出現(xiàn)了智能陪伴機器人、智能兒童毛絨玩具、智能戒指等一系列智能硬件場景,帶來不同硬件終端下的 AI 語音交互體驗。

聲網(wǎng) AI x IoT 智能硬件解決方案低功耗、低延時、低成本

聲網(wǎng)作為全球實時互動云行業(yè)的開創(chuàng)者,一直在探索 GenAI 與 RTE 結合帶來的體驗提升和場景創(chuàng)新,此前發(fā)布了實時多模態(tài)對話式 AI 解決方案,在此基礎上,針對 IoT 行業(yè)的特殊性,聲網(wǎng)探索出了 AI x IoT 智能硬件解決方案,該方案能夠在低功耗、低算力芯片上快速實現(xiàn)大模型的接入,具備低延時實時互動、低成本靈活適配的特性,通過豐富的功能在智能硬件場景中構建真實、自然的 AI 語音交互體驗。

例如對交互延遲進行優(yōu)化,語音交互延時低至1s內;支持多模態(tài) AI 語義識別和理解;支持 AI降噪,保證清晰的語音交互;支持小包體、低內存、低功耗;適配支持70+主流、高性價比的芯片等,幫助開發(fā)者與企業(yè)快速構建適配自己硬件的 AI 實時語音對話服務。

7542cd1ab71f1214cafb94375c5c993b.png

圖:聲網(wǎng) AI x IoT 智能硬件解決方案架構圖

1、毫秒級人機交互體驗:聲網(wǎng) AI x IoT 智能硬件解決方案進一步優(yōu)化了端到端互動體驗,實現(xiàn)人與設備之間基于 LLM 的毫秒級互動體驗。通過在客戶端進行低延遲的音頻采集和播放、借助聲網(wǎng)自研的 SD-RTN? 實時傳輸網(wǎng)絡實現(xiàn)全球范圍的低延時 RTC 傳輸,并進一步通過更快速的 LLM 推理首字耗時、低延遲流式 TTS、同機部署等一系列技術手段,保證對話的實時性與流暢性。

2、文本/圖像/音頻/視頻的多模態(tài)交互:在智能硬件場景,聲網(wǎng)的解決方案同樣支持文本/圖像/音頻/視頻的組合輸入&輸出,同時開發(fā)者與企業(yè)也無需額外集成 STT、TTS 等模塊化組件,一套方案就能快速構建 AI 實時語音對話服務。

3、聚焦關鍵信息,提升語義理解度:在 GenAI 場景,能否支持隨時打斷也成為衡量大模型智能化的重要指標,聲網(wǎng)的解決方案也支持先進的 AI-VAD 技術,可實現(xiàn)靈敏的自然語音打斷,模擬人類對話的自然流動,讓對話更加真實、自然。

4、AI降噪保障語音對話清晰、順暢:針對語音對話中經(jīng)常會出現(xiàn)的噪音、回聲等問題,聲網(wǎng)擁有行業(yè)領先的音頻 3A 能力,通過AI噪聲抑制、背景人聲過濾、音樂檢測/過濾等算法,確保人與 AI 的對話不受環(huán)境干擾,始終保持順暢。

5、實現(xiàn)多模態(tài) AI 能力普適,實現(xiàn)任意可視設備的智能化體驗:在硬件場景構建音視頻互動需要特別注意 SDK 對芯片、系統(tǒng)的適配性以及包體的體積等。聲網(wǎng)的解決方案適配支持 70+ 主流、高性價比的芯片/模組,例如:展銳 Cat.1系列芯片、樂鑫 ESP32-S2/S3、BK 7256、BK7258、杰理AC7916、博流BL808等 RTOS 芯片,以及高通、聯(lián)發(fā)科、君正、Sigmastar、全志、海思、Mstar 等 70+ Linux 芯片。

集成包體積增量也<400KB,支持在 RTOS、EmbedLinux 等低功耗系統(tǒng)流暢運行,同時 SDK 還支持 PCM、G711U/A、G722、AAC、OPUS 等多種音頻格式。