人類的交互通道有眼耳鼻舌頭等器官，他們作為外部世界信號的接收器，接收范圍內的信號傳達給大腦。在機械世界，從過去的鼠標鍵盤到現在的觸摸、聲音、手勢、視覺等，多模式的人機交互技術相互融合。

目前，智能語音兼顧老人、兒童和地方方言的能力、語音和視覺、觸摸屏、LCD反饋顯示相結合的交互體驗，降低交互閾值。國內專業對話AI企業思必馳，結合全鏈路語音交互技術和自我研究計算機視覺技術提出多模式交互技術方案，登陸白電、黑電智能終端，滿足用戶智能需求。

機械耳鼻舌頭

機械能夠理解人類對話，產生對話和服務，大大提高了物聯網設備的實際使用價值。越來越多的物聯網設備配備了語音聯網設備越來越多，從電視、冰箱到家庭設備，各種終端不勝枚舉。

在實踐過程中，發現語音交互的物聯網設備缺乏積極服務的能力，只是改變了操作方式，用戶體驗本質上沒有提高。這種自主服務不足的人機關系如何變化？答案可能是，機器不僅可以聽，還可以看，可以感覺，可以把五感聯系起來思考。

在智能語音交互發展過程中，多模式交互是必經階段。擁有各種傳感器的智能設備，不僅可以聽(耳)，還可以利用照相機(眼)觀察、底盤云臺(腳)的移動等，全面理解用戶，與用戶<愛尬聊_百科詞條>交流，滿足用戶的需求。

這個交互過程模擬了人與人之間的交互方式，使交互更加自然，符合用戶的意圖。該互動方式打破了傳統鍵盤輸入和智能手機的點觸式互動方式，符合機器人類產品的形態特征和用戶期待，定義了下一代智能產品和人類的獨特互動模式。

三方面，加深多模式交互

智能經濟時代，人機交互全面智能化，帶來一系列深刻變革。需要不斷升級產品、內容、服務,才能更好地適應用戶在未來智能化終端上的需求和習慣。

思必馳作為國內專業的對話式人工智能平臺公司，從信號處理、識別到互動，思必馳擁有全面的智能語音技術。思必馳多模型互動技術的應用主要是

多模型VAD

根據視覺和音頻特征，通過多模型融合識別說話者的語音內容，拒絕識別其他說話者的聲音，實現輔助噪音、拒絕識別

人臉識別amp的人臉比較

人臉識別:人臉的關鍵點、頭部姿勢、人臉和相機的距離、性別、年齡、年齡、年齡、口罩、其他電話

智能家居領域，對于空調、冰箱、爐子等白電產品，必須提出智能白電AI交流解決方案。根據智能白電的不同網絡模式(中央控制/分布式/單體)，思必馳提供正面覺醒、附近覺醒、語義覺醒、多模式綜合覺醒方案。在黑色電視領域，智能電視作為客廳經濟的核心代表產品，占客廳場景最大的流量入口。思必馳為智能電視創造了流暢自然的語音輸出，同時背靠DUI平臺，通過300多個第三方資源界面，為用戶提供家庭控制、交通旅行、新聞信息、生活娛樂等各個領域的內容服務。

對于周圍噪音大、很多人密集同時交流的情況，例如很多用戶激烈地玩電子游戲、家人和家人聚會等。思必馳多模式交互技術方案，根據視覺和音頻特征，通過多模式融合VAD分離演講者的目標聲音，拒絕其他演講者的聲音，實現輔助噪音，提高聲源定位的精度，演講者在移動狀態下也不受影響。

另外,思必馳多模態交互技術方案還可以應用在會議大屏、商場顯示大屏、地鐵購票機等商用帶屏顯示設備中,目前此技術已在全國多個地區地鐵的購票設備中落地。

隨著思必馳旗下深聰智能第二代AI芯片發布,思必馳在多模態方面的演進路線更加明朗。語音、圖像、手勢等互動方式的融合可以大幅度降低用戶AI體驗的門檻，將來思必馳將繼續發揮優勢，繼續創造更多滿足AI應用場景的產品，為智能經濟時代提供向上的引擎。