這陣子全球有關 AI 的企業，股價都崩得亂七八糟，NVIDIA、台積電、AMD …。不過，這並不代表 AI 不是未來趨勢，算力不重要了；反過來說，越來越多新鮮的 AI 玩法，我們可以更加確定，AI 就是未來趨勢無疑。今天要分享的，是 Google 在 I/O 2024 公佈的新玩意兒：Project Astra，讓 AI 走入你的動態生活！
Google Gemini 的 Project Astra：AI 可以即時「讀懂」動態事件，更像活生生的人
我在《寵物保姆 AI 工具：Furbo 寵物監視器，讓 AI 視覺幫你照顧狗狗》一文中，曾經介紹過現行人工智慧的類神經網路，在機器視覺處理「圖像」以及「影音」上，分別有兩種主流技術 ：
CNN（卷積神經網路）：利用標記系統分析影像，並為每個像素提供標籤值。它們通過卷積運算識別影像中的輪廓、形狀、顏色和紋理等特徵。CNN 通常用於單一影像分析，例如影像分類，以及物體偵測。
RNN（循環神經網路）：RNN 擅長處理一系列影像，並找出它們之間的關聯性。它們可以理解影像序列中的時間關係，因此適合用於影片分析等任務。
二者其實都有能力分析「即時動態畫面」，將動態影音不斷的「切片」後，再透過 CNN 或 RNN 去理解。機器視覺現在處理即時動態畫面變得越來越有效率，除了 OpenAI 的 GPT-4o 已經可以做到即時動態畫面的理解外，Google Gemini 更在「Project Astra」展現出了類似的技術：AI 分析眼前正在發生的動態畫面事件，甚至會幫你「記憶」，方便你隨時回顧「不久前發生了什麼事」。
「你還記得你在哪裏有看到我的眼鏡嗎？」
「你的眼鏡在桌上，旁邊放著一顆紅蘋果。」
這跟現在的 Google Gemini、Google Assistant 有什麼不同？嘿嘿，差異可大了。你現在等於有一對能夠看懂事件的雙眼，在無時無刻的監控你的生活。說監控感覺很沉重，但這背後並不是人類在操作，而是 AI 在幫你管理、記憶生活中發生的大小事務，就像「真人管家」那樣。
AI 助理的未來想像：幾乎可以 100% 確定會發生的六大變革
雖然現在還沒發生，但很多人還沒注意到，我們正處於「AI 助理」重大變革的奇點：對人生帶來巨大衝擊、巨大方便性的奇點，正在來臨。
下面是我對於接下來 AI 助理變革的判斷，保守估計，三年內一定會發生的事件：
- 現在的「AI 助理音箱」，在不久的將來都會陸續淘汰；新的「AI 助理機器人」將取而代之
- 「AI 助理機器人」除了有麥克風可以收音、有音箱可以說話或播放歌曲，更包含了攝影機鏡頭可以無時無刻監管你家發生的點點滴滴
- 「AI 助理機器人」會將你家發生的一切事情，都永久記錄保存下來：你出門期間，狗狗有嘔吐過嗎？你的手機隨手丟在沙發上被棉被蓋住，找不到了嗎？你剛剛講電話的時候約的時間是下午 3 點，還記得嗎？你正在燒開水，瓦斯爐忘記關了嗎？諸如此類，AI 全部都可以幫你記得、幫你監控、協助你管理
- 「AI 助理機器人」可以帶來家庭更高的安全性：有陌生人闖空門，AI 即時提醒屋主查看監視器，看看是否要報警；家長正在打麻將，幼兒在攀爬窗戶，AI 即時發出警報，讓家長注意到，避免發生憾事
- 「AI 助理機器人」還將內建在行車記錄器上，幫你即時判斷路況、即時建議路線，即時發出警報（萬惡的 A 柱視線死角），就算車主沒有注意到，AI 也會幫你注意，並且提醒
- 在上述的一切場景中，你還能隨時跟 AI 聊天，就像一個無所不知的真人管家那樣：呀咧呀咧，還不睡覺嗎大小姐，你明天可是要開會的呀。
之所以我如此有信心這一切會在短期內發生，正是因為「技術上其實已經做得到、已經發生了」，只不過大廠尚未將軟硬整合起來，以及算力尚未填補到位。像上面我提到的「AI 助理機器人」，如果你希望擁有這樣一個管家，一個月願意負擔多少費用來獲得使用權？
這是 AI 商機，正式從「B2B」轉向「B2C」的轉捩點，目前 OpenAI 以及 Google 都已經擁有了足夠的能力來實現。由於 Google 已經耕耘 Google Home、Google Nest 很久的時間，估計一旦將「AI 助理機器人」整合進來，那綜效將會相當巨大。
其次，我認為「小米」以及「華為」很有可能會是下一個，能夠在「AI 助理機器人」成功取得一席之地（中國大陸為主）的廠商。
AI 助理機器人短期會遇到的挑戰：算力、效能以及連續編碼
根據 Google Project Astra 官網的介紹，他們有簡單提出幾個現階段遇到的艱鉅挑戰（但顯然他們克服困難相當成功）：
- 將視訊和語音輸入合併到事件時間軸中
- 快取資訊以實現高效調用
- 連續編碼視訊幀
另外就是，目前這一切高階應用都會需要用到比較多的算力，短期應該還不太容易在終端依賴邊緣運算實現，不過隨著軟硬技術的不斷演進，最終走向邊緣運算將會是必然的結果。畢竟不是所有人都喜歡將生活中的一切都放上雲端，儘管不會有其他人看到。
下面是 Google I/O 2024 的完整主題演講，有興趣的人可以參考觀看：
公開留言