「薅羊毛」這件事,在 AI 時代變得特別有意思。當大家都在討論 AI 將如何改變世界時,Google 默默地扔出了一顆震撼彈:它開始全面封鎖第三方搜尋引擎爬蟲,讓許多 SEO 工具陷入一片哀嚎。
聽起來好像只是技術圈的小打小鬧,但實際上,這可能是 AI 領域新一輪較量的開始。
為什麼突然封鎖爬蟲?
其實 Google 一直以來都有明確規定:未經許可,不得對搜尋結果進行自動化爬取。但過去這條規定就像是放在抽屜裡的尺子,大家都知道它在那裡,但也都心照不宣地睜一隻眼閉一隻眼。

現在 Google 突然認真起來,讓 SEMRush 等多家 SEO 工具服務陷入困境,數據更新停擺。有趣的是,這次封鎖並非全面性的,一些較小的工具商表示他們依然可以正常運作;這讓人不禁懷疑,Google 是不是在正在測水溫,為更大的行動做準備。
表面上看,這次行動像是針對 SEO 工具商的「降維打擊」;但如果往深處想,這可能會對整個 AI 產業帶來更深遠的影響。
想想看,現在的 AI 大模型都需要大量優質資料進行訓練。而 Google 搜尋結果本身就是一個天然的資料篩選器 —— 排名越前面的內容,通常品質也越好。透過爬取 Google 搜尋結果,AI 公司等於是「搭順風車」,讓 Google 幫忙完成了初步的資料清洗工作。
現在 Google 說不讓你搭車了,那些想要訓練大模型的公司該怎麼辦?

AI 時代的核心戰場:資料爭奪大賽
這件事告訴我們一個殘酷的現實:在 AI 時代,數據就是石油,而且還得是精煉過的優質石油。
看看現在的局勢:
- Google 坐擁搜尋引擎的數據金礦
- 微軟和 OpenAI 聯手,背靠 Bing 搜尋引擎
- Meta 掌握著 Facebook、Instagram 和 Threads 的社交數據
- 中國科技巨頭們則在自己的數據花園裡耕耘
其他想要在 AI 領域分一杯羹的公司,現在面臨的困境是:要嘛花大力氣自己建立資料收集和清洗的機制,要嘛就得跟這些數據巨頭談合作,當然,這無疑會大幅提高入場門檻。

RAG 工具是否遭殃?還是未知數
值得注意的是,這波封鎖潮可能還會影響到許多 AI 檢索增強生成(RAG)工具。像是 Perplexity、Felo 這類新興的 AI 搜尋服務,它們的運作原理就是即時爬取網路資訊,再透過 AI 進行整理和分析,為使用者提供更精準的答案。
如果無法順利取得 Google 搜尋結果,這些服務可能需要另闢蹊徑,或是付出更高的成本來維持服務品質。

內容創作者的「AI 春天」要來了?
不過,每個危機都藏著轉機。當優質資料變得更難取得,擁有原創內容的創作者和平台可能會迎來新的機遇。畢竟,AI 再強大,也得有好的「食材」才能煮出好菜。
在未來,我們可能會看到更多 AI 公司直接與內容創作者或平台合作,建立起專屬的資料供應管道。這或許能為創作者帶來新的收入來源,也能確保 AI 訓練資料的品質和合法性,達到雙贏。

在這場新的 AI 大戰中,勝負關鍵可能不在於誰的演算法更強,而在於誰能獲得更多優質的訓練資料。而 Google 這次的「封鎖令」,或許正是為了鞏固自己在這場戰役中的優勢地位。
看來,AI 的下一個戰場,真的要打響了。
公開留言