“你不溫柔，我不主動”，人機關係究竟要怎麼改變呢？

技術這個事情，很多時候不是一蹴而就的。

更多時候，是大家先看到了一個東西非常美好，結果左發展右發展也發展不起來，在吃瓜群眾們興奮地送上一首《涼涼》之後，搞不好哪天卻突然一個勝 負手拋出來，一切又都不一樣了。

曾經的移動通訊、觸屏交互莫不如是，今天的3D打印、VR說不定也在重複這個套路。 更明顯的可能是物聯網。 這個我們念叨了好多年，雖然也一直在發展，但始終沒有大熱的技術，到底在等待什麼呢？

等待AI？ 但是音箱刮過一陣語音交互的風潮之後，IoT設備搭載語音控制模塊也火了起來。 可是直到今天，我們好像發現物聯網還是那個物聯網，基本沒什麼變化。

讓我們往更深層開個腦洞，“AI of Things”在等待的，可能不僅是語音交互，而是耳目鼻口耳協同工作的多模態AI交互。

你不溫柔，我不主動：為什麼我們始終遠離IoT？

首先我們要搞懂一件事：為什麼給設備聯網的方案推行了這麼多年，我們身邊，包括工業和工程領域，真正用到的物聯網設備還是沒有多少？

答案在於，光給機器設備聯網是沒用的。 你家的桌椅板凳又不想聊微信逛淘寶看快手，它們要網作甚？

人最終需要的是服務，所以設備僅僅聯網是沒用的，聯網之後必須能干點什麼才行。 這就需要兩件事情：

1. 人與設備可交互；

2. 設備能夠感知到人的需求。

在觸屏、鍵盤和手機集成遙控模式，都被證明太麻煩之後，物聯網開始把目光投向了能夠提供自然交互與感知能力的AI。

機器能夠聽懂人類說話，並且產生對話並提供服務，似乎某種意義上從源頭解決了物聯網設備缺乏實際價值的尷尬。 於是我們見到了越來越多搭載語音交互平台，能夠實現對話的物聯網設備。 從電視、冰箱到家居設備，再到各種終端不勝枚舉。

但實踐下來發現，這種模式問題還是不少：

比如語言控制不如屏幕控制那麼精準，很多時候會誤判指令和錯誤喚醒，比較語言充滿了不確定性；

再比如，語音交互的物聯網設備還是缺乏主動服務的能力，只是換了操作方式而已，用戶體驗沒有本質提升。

僅僅是“能聽”，並且還經常聽錯的物聯網設備，就像是兩個人談戀愛，其中一方從來不看你，不會知冷知熱、噓寒問暖，還經常搞錯對方的意思，那 另一方當然表示我懶得理你……

目前來看，把按鈕換成了語音命令平台，隱藏的不確定性太多，而實際價值太少，很難成為物聯網爆發的真正依托。

這種“你不溫柔我不主動”的人機關係究竟怎麼改變呢？

答案也許是讓機器能夠聽和說之外，還要能看，能感覺，甚至能將五感聯繫到一起進行思考。

感知到交互：機器的五感俱全

所謂“模態modality”，是德國生理學家赫爾姆霍茨提出一種生物學概念。 即生物憑藉感知器官與經驗來接受信息的通道，比如人類有視覺模態、聽覺模態等等。

後來這個概念引申到人文科學領域，成為哲學和文學上的一種話語批評方式；而來到機器人和計算機科學領域，就成了機器與物理世界聯繫的通道。

假如我們把“模態”通俗地理解為感官，那麼智能音箱就是只具備聽覺模態的物聯網設備，而加載AI分析能力的攝像頭可以視為視覺模態的物聯網設備。 把聽覺、視覺甚至更多模態組合到一起，多模態物聯網也就誕生了。

事實上，在AI研究當中多模態轉換是非常普遍的課題。 比如一個很出名的AI研究方向是讓智能體根據看到的某張圖片來生成文字，這就是讓AI模型完成在視覺和語義之間的模態轉換。

運用到物聯網設備當中，今天主要的AI感知模態有三種：

1. 語音交互 ，包括語音指令控制、語義理解、多輪對話、NLP、語音精準識別等領域；

2. 機器視覺 ，包括自然物體識別、人臉識別、肢體動作識別等；

3. 傳感器智能 ，包括AI對熱量、紅外捕捉信號、空間信號的閱讀與理解。

把這三種東西融合在一起，物聯網設備就可以在單純的能聽會說之外，同時還用攝像頭觀察、用傳感器判斷。 而比較前沿的多模態感知研究當中，還包括機器嗅覺，機器觸覺和情緒理解等內容。

我們在等待的下一代物聯網設備，很可能訣竅就是把這些模態給揉在一起，完成從多模態感知到多模態交互的體驗。 用一句我們十分熟悉的話說，就是要讓機器身上的五感“生態化反”……

今天讓人樂觀的多模態交互型IoT

又能聽，又能看，又有傳感器的設備，聽上去似乎有點過分樂觀了。 但好在綜合了較多采訪與觀察之後，我們發現今年確實是值得為多模態物聯網設備樂觀一下的時候。

可以看到，很多雙模態交互，甚至多模態混合交互的解決方案都在從實驗室裡走出來，甚至已經可以在我們生活中看到。 這些解決方案更重要價值是作為案例，可以讓更多企業、開發者和垂直行業看到多模態物聯網的可複制價值。

舉例來說，離我們最近的多模態AI交互技術投射在物聯網設備上，大概就是用機器視覺技術進行嘴唇識別，來分離語音交互指令。 我們可以看到很多實驗室和科技公司，都在嘗試用機器視覺來讀取說話人的唇語和動作，從而判斷每個聲音指令的來源。

這種技術已經在國內被運用到地鐵售票解決方案中，通過機器視覺來識別買票人，從而在地鐵站的嘈雜環境中完成語音售票。

另一個我們能看到的例子是空調。 在一些新的智能空調解決方案中，空調會在語音交互的基礎上通過機器視覺來判斷用戶的位置，提供智能送冷，並且會結合傳感器判斷屋內溫度和濕度，提供更精準的環境方案。

同樣是在家電上，今年電視背後的AI平台戰打得風生水起，把機器視覺技術引入電視成為了新的趨勢。 通過機器視覺來讓電視觀察屋內照明情況、用戶與電視的距離，電視可以主動調節屏幕光線強度，輸出比較護眼的模式。 還有的AI應用是讓電視在觀察到兒童看電視後主動開啟童鎖。

在日常生活之外，多模態交互設備也在應用於工業設備中。 比如通過給機器設備搭載機器視覺+傳感器提供安全警告，以及利用機器視覺+故障信號的方式判斷設備問題等。

把不同信號模態整合在一起，實現設備的多維感知，今天正在以比較快的速度來到應用市場。

高精度判斷用戶命令，輸出主動服務；提供實時化、彈性化的體驗，可以說是AI帶來的多模態交互技術放進物聯網世界中的一張鬼牌。

當然了，還是有幾道難關……

按照慣例，最後我們還是要正視任何技術都存在不足。 剛剛有一點萌芽的多模態交互+物聯網當然也不例外。

最核心的一個問題，是我們到底靠什麼實現多模態協同？

目前來看，無論是家電還是工業設備，實現多模態混合的主要方式還是把不同的傳感源輸入到設備處理中心，啟動一定程序來開啟相應服務。

換句話說，AI模型本身是沒法理解多模態信號的，只是不同的算法啟動不同的開關而已。 這種“偽AI多模態”的設備也不是不行，只是在實時化和復雜的推理判斷上會有心無力。

解決方案可能是一種叫做“多模態深度學習”的技術，讓AI智能體本身能夠理解多模態信號，從算法本身就容納聽覺、視覺、傳感信號進行統一思考。 這樣可以保證設備高度實時化，並且可以讓設備進行多模態協同學習，真正地“聰明”起來。

這要求在算法上對多維度數據的各自表示、融合、對齊有新的突破，今天我們還只能等待學術界的好消息。

另外一個問題，是今天的多模態交互缺少有效的開發平台，開發者和企業很難復制這一模式，來進行獨立的物聯網解決方案開發。 當然，目前來看這應該僅僅是個時間問題。

與之相對應的，是在缺乏行業標準、開發基礎的前提下，今天開發一個多模態物聯網項目需要大量的人才成本和綜合開發成本。 並且缺少芯片、專用傳感器等後端硬件的支撐。 這個領域國內有一些芯片和算法公司，但似乎大部分處在做PPT的畫餅階段。

綜合來看，AI帶來的多模態想像力，大概確實可以完成一些物聯網很早就希望實現的東西。 但方興未艾的產業局勢，還需要巨頭搭建平台、優質案例出現、開發者路徑明確等幾個環節才能開啟下一輪風口。

但無論如何，耳聰目明的機器，已經在跑步過來的路上了……