AIGoogle深度產業

AI 新的大戰開打了?Google 出招封鎖第三方搜尋引擎爬蟲:好內容請自己想辦法取得

AI 新的大戰開打了?Google 出招封鎖第三方搜尋引擎爬蟲:好內容請自己想辦法取得 第三方搜尋引擎爬蟲 AI, Google, 深度, 產業

「薅羊毛」這件事,在 AI 時代變得特別有意思。當大家都在討論 AI 將如何改變世界時,Google 默默地扔出了一顆震撼彈:它開始全面封鎖第三方搜尋引擎爬蟲,讓許多 SEO 工具陷入一片哀嚎。

聽起來好像只是技術圈的小打小鬧,但實際上,這可能是 AI 領域新一輪較量的開始。

為什麼突然封鎖爬蟲?

其實 Google 一直以來都有明確規定:未經許可,不得對搜尋結果進行自動化爬取。但過去這條規定就像是放在抽屜裡的尺子,大家都知道它在那裡,但也都心照不宣地睜一隻眼閉一隻眼。

AI 新的大戰開打了?Google 出招封鎖第三方搜尋引擎爬蟲:好內容請自己想辦法取得 第三方搜尋引擎爬蟲 AI, Google, 深度, 產業

現在 Google 突然認真起來,讓 SEMRush 等多家 SEO 工具服務陷入困境,數據更新停擺。有趣的是,這次封鎖並非全面性的,一些較小的工具商表示他們依然可以正常運作;這讓人不禁懷疑,Google 是不是在正在測水溫,為更大的行動做準備。

表面上看,這次行動像是針對 SEO 工具商的「降維打擊」;但如果往深處想,這可能會對整個 AI 產業帶來更深遠的影響。

想想看,現在的 AI 大模型都需要大量優質資料進行訓練。而 Google 搜尋結果本身就是一個天然的資料篩選器 —— 排名越前面的內容,通常品質也越好。透過爬取 Google 搜尋結果,AI 公司等於是「搭順風車」,讓 Google 幫忙完成了初步的資料清洗工作。

現在 Google 說不讓你搭車了,那些想要訓練大模型的公司該怎麼辦?

AI 新的大戰開打了?Google 出招封鎖第三方搜尋引擎爬蟲:好內容請自己想辦法取得 第三方搜尋引擎爬蟲 AI, Google, 深度, 產業

AI 時代的核心戰場:資料爭奪大賽

這件事告訴我們一個殘酷的現實:在 AI 時代,數據就是石油,而且還得是精煉過的優質石油。

看看現在的局勢:

  • Google 坐擁搜尋引擎的數據金礦
  • 微軟和 OpenAI 聯手,背靠 Bing 搜尋引擎
  • Meta 掌握著 Facebook、Instagram 和 Threads 的社交數據
  • 中國科技巨頭們則在自己的數據花園裡耕耘

其他想要在 AI 領域分一杯羹的公司,現在面臨的困境是:要嘛花大力氣自己建立資料收集和清洗的機制,要嘛就得跟這些數據巨頭談合作,當然,這無疑會大幅提高入場門檻。

AI 新的大戰開打了?Google 出招封鎖第三方搜尋引擎爬蟲:好內容請自己想辦法取得 第三方搜尋引擎爬蟲 AI, Google, 深度, 產業

RAG 工具是否遭殃?還是未知數

值得注意的是,這波封鎖潮可能還會影響到許多 AI 檢索增強生成(RAG)工具。像是 Perplexity、Felo 這類新興的 AI 搜尋服務,它們的運作原理就是即時爬取網路資訊,再透過 AI 進行整理和分析,為使用者提供更精準的答案。

如果無法順利取得 Google 搜尋結果,這些服務可能需要另闢蹊徑,或是付出更高的成本來維持服務品質。

AI 新的大戰開打了?Google 出招封鎖第三方搜尋引擎爬蟲:好內容請自己想辦法取得 第三方搜尋引擎爬蟲 AI, Google, 深度, 產業

內容創作者的「AI 春天」要來了?

不過,每個危機都藏著轉機。當優質資料變得更難取得,擁有原創內容的創作者和平台可能會迎來新的機遇。畢竟,AI 再強大,也得有好的「食材」才能煮出好菜。

在未來,我們可能會看到更多 AI 公司直接與內容創作者或平台合作,建立起專屬的資料供應管道。這或許能為創作者帶來新的收入來源,也能確保 AI 訓練資料的品質和合法性,達到雙贏。

AI 新的大戰開打了?Google 出招封鎖第三方搜尋引擎爬蟲:好內容請自己想辦法取得 第三方搜尋引擎爬蟲 AI, Google, 深度, 產業

在這場新的 AI 大戰中,勝負關鍵可能不在於誰的演算法更強,而在於誰能獲得更多優質的訓練資料。而 Google 這次的「封鎖令」,或許正是為了鞏固自己在這場戰役中的優勢地位。

看來,AI 的下一個戰場,真的要打響了。

Written by
黃郁棋

《科技人》站長,在科技業打滾十年的老屁股,每天都覺得自己要被新技術取代了,完了完了。

公開留言

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *

打賞科技人|祝您有個美好的一天:)