微軟 Copilot 迎來更新：Copilot Vision 可以「看著你的螢幕畫面」跟你即時聊天！

黃郁棋2024 年 10 月 2 日

微軟 Copilot 迎來更新：Copilot Vision 可以「看著你的螢幕畫面」跟你即時聊天！ Copilot Vision 微軟, AI, Edge, 產業

有在使用 AI 工具的人，應該都在等待「電腦視覺」全面開放的時刻吧！想像一下，你與 AI 的互動不再僅限於「聊天機器人一問一答」，而是真正融入你的日常生活當中：你看到什麼、他也看到一樣的東西，作為一個陪你聊天、陪你思考的存在，就像真正的「副駕駛」一樣。現在，微軟的 AI 工具「Copilot」正式迎來更新： Copilot Vision、Copilot Voice 以及 Think Deeper 功能。

最適合將 AI 服務做大的科技巨擘：微軟、蘋果、三星、華為

還記得我曾經在 AI 應用案例《線上塔羅牌 AI 應用：塔羅望遠鏡，讓算命更人性》中，提到過 AI 想要成功落地，必須注意到三件事：

越感受不到 AI 的，使用量越高
能增加價值的 AI，比省時省成本的 AI，使用量較高
越需要互動的 AI，使用量越低

裏面提到的第一點，也是最重要的一點，就是「讓 AI 無感化」。越能夠自然融入日常生活、日常工作流程的 AI，才是真正能夠被廣泛接受的 AI 工具。然而，這看似單純的概念，其實要實現並不容易！這中間牽涉到「反應速度、算力、隱私、各項感測器的運用、生態整合」等多種環節必須打通。

嚴格說起來，像是 OpenAI 這類企業，在「AI 無感化」的革新上是最為吃虧的：沒有自己生態系統，也沒有自己的終端硬體設備。而像是蘋果、華為、三星這類「軟硬通吃」的廠商，其實才是最適合將 AI 做到無感化的公司（而這些公司顯然也正朝這個方向前進中）。

除了硬體，掌控作業系統的廠商也同樣具備絕佳的先天優勢：微軟的 Windows，蘋果的 macOS 以及 iOS、iPadOS、Google 的 Android，以及華為的鴻蒙。微軟的 Windows 擁有「Copilot」這個 AI 服務，蘋果則是整合 OpenAI 的技術推出了 Apple Intelligence，Google 有著即將全面取代 Google Assistant 的 Gemini，華為有華為小藝。

今天微軟正式讓自家的「Copilot AI」朝向無感化又往前走了一大步。

Copilot Vision：讓 AI 看著你的畫面跟你即時對話

微軟的 Copilot 服務其實已經支援多個平台，例如 iOS、Android 以及 PC、瀏覽器端等等，然而要提到「整合」這件事，還是 PC 端做得最深入。

根據目前能得到的消息，Copilot Vision 已經可以做到「即時查看你的 Microsoft Edge 瀏覽器畫面」。與先前的聊天機器人一問一答不同，Copilot Vision 可以做到即時分析你正在閱讀的網頁，包括網頁上的文字、網頁上的圖片，結合語音即時互動（Copilot Voice，語調可以做到跟 ChatGPT Voice 差不多的真實感），就像有一個人坐在你旁邊，跟你一起看著畫面、一起即時討論畫面上的內容一樣。

可以參考微軟官方的介紹影片，體驗一下那個感受：

新推出的 Copilot Vision，在 Mircosoft Edge 上將會以一個「浮動工具列」的形式存在，只要在瀏覽器網址列輸入「@copilot」，就可以叫出 Copilot Vision。

值得一提的是，為了避免資安的爭議，微軟表示這些「AI 看過的內容」都會在對話結束後刪除，並不會保存下來，也不會被拿去訓練 AI 模型。另外，微軟有提到，針對「付費內容」以及「敏感內容」，Copilot 都會被限制住，不讓 AI 處理這些東西。若網站有透過一些手段禁止 AI 讀取（例如 Robot.txt 直接禁止 AI 爬蟲抓取內容，或是使用 Cloudflare 的 Block AI Scrapers and Crawlers 等等），Copilot Vision 一樣會尊重這些網站的設定。

目前 Copilot Vision 只在美國開放，台灣用戶還得再等等。

至於能夠與 Copilot 進行流暢語音溝通的 Copilot Voice，則暫時只針對加拿大、紐西蘭、澳洲、英國與美國推出英文版，但是多國語言相信不久後就會跟上，畢竟 OpenAI 的 ChatGPT Voice 不只支援中文，現在連台語都會說了呢。

Copilot Think Deeper：強化 AI 的推理能力

除了備受期待的 Copilot Vision，微軟 Copilot Labs 還有一項新功能：Copilot Think Deeper，它可以讓 AI 花費更多時間，強化推理能力，回答更複雜的問題。Think Deeper 功能即日起開放加拿大、紐西蘭、澳洲、英國與美國的部分 Copilot Pro 用戶提供測試。