--- title: "誰在讀你的網站? AI 時代,SEO 的爬蟲從 1 種變成 5 種" url: https://joelin.cc/p/9156 source: https://joelin.cc/p/9156 id: 9156 lang: zh-Hant slug: "ai-era-seo-crawler-types-explained" pubDate: 2026-05-18 date_modified: 2026-09-16 updatedDate: 2026-09-16 schema_type: BlogPosting description: "AI 時代 SEO 不再只服務 Google 一家，內容需同時滿足 T1 搜尋爬蟲、T2-T4 AI 爬蟲與回流機制" ai_summary: "AI 改變了內容被『讀取』的方式，從單一 Google 爬蟲擴展為五種角色。T1（傳統搜尋爬蟲）負責建索引供 Google 搜尋；T2（AI 訓練爬蟲，如 GPTBot）把內容吃進 LLM 記憶做訓練；T3（AI 搜尋爬蟲，如 OAI-SearchBot）建給 AI 引用的索引；T4（使用者觸發爬蟲）在真人問 AI 時即時抓你的內容回答；T5（人類回流）是從 AI 答案點回你的真實訪客。T2-T4 都不產生直接點擊卻產生實質影響力，但 GSC 看不到、GA4 5 月新增『AI Assistant』管道才能部分追蹤。多數人只看流量報告，忽視三層新角色的價值——被 AI 大量使用卻完全沒有轉換。" key_facts: ["新增 T2-T4 三層爬蟲，都不產生直接點擊卻產生實質影響力並決定未來曝光", "T4 使用者觸發代表『現在進行式』被 AI 引用，出現時間差為零，具時效性", "GA4 AI Assistant 管道僅識別有來源資訊的回流，估計約 25-40% 來源被遺漏"] categories: ["依照經營所面臨的問題分類", "商業/科技前沿參考", "搜尋引擎優化-SEO"] tags: ["SEO 搜尋引擎優化"] about: - name: "Google Analytics" sameAs: ["https://www.wikidata.org/wiki/Q220577"] mentions: - name: "Googlebot" sameAs: ["https://www.wikidata.org/wiki/Q1425771"] - name: "OpenAI" sameAs: ["https://www.wikidata.org/wiki/Q21708200"] - name: "Anthropic" sameAs: ["https://www.wikidata.org/wiki/Q116758847"] - name: "Google Search Console" sameAs: ["https://www.wikidata.org/wiki/Q328216"] changelog: [{"date":"2026.05.18","note":"文章發佈"},{"date":"2026.09.16","note":"分類收斂：移除誤掛的台灣財富報告系列／股市風雲錄／關於保險的那些事／關於財富與賺錢，本篇是 SEO 題，沿用 D103 名實相符原則","by":"joe+ai"}] entity_ids: author: https://me.joelin.cc/#joe publisher: https://me.joelin.cc/#joelincc --- # 誰在讀你的網站? AI 時代,SEO 的爬蟲從 1 種變成 5 種 ## 摘要 AI 改變了內容被『讀取』的方式，從單一 Google 爬蟲擴展為五種角色。T1（傳統搜尋爬蟲）負責建索引供 Google 搜尋；T2（AI 訓練爬蟲，如 GPTBot）把內容吃進 LLM 記憶做訓練；T3（AI 搜尋爬蟲，如 OAI-SearchBot）建給 AI 引用的索引；T4（使用者觸發爬蟲）在真人問 AI 時即時抓你的內容回答；T5（人類回流）是從 AI 答案點回你的真實訪客。T2-T4 都不產生直接點擊卻產生實質影響力，但 GSC 看不到、GA4 5 月新增『AI Assistant』管道才能部分追蹤。多數人只看流量報告，忽視三層新角色的價值——被 AI 大量使用卻完全沒有轉換。 ### 重點 - 新增 T2-T4 三層爬蟲，都不產生直接點擊卻產生實質影響力並決定未來曝光 - T4 使用者觸發代表『現在進行式』被 AI 引用，出現時間差為零，具時效性 - GA4 AI Assistant 管道僅識別有來源資訊的回流，估計約 25-40% 來源被遺漏 TD;LR * 過去做 SEO,你只需要應付 1 種爬蟲:Google 來收錄、讀者來點擊,一條乾淨的直線。 * 現在因為 AI 插進了中間,中間多出 3 種新爬蟲,加上原本負責人流的分析層GA,整條鏈變成 5 個角色 —— 老喬把它編號成 T1 到 T5。 * T2、T3、T4 的佔比一定會繼續上升,但「上升多快、吃掉多少流量」GSC 看不到,要靠 GA4 —— 而 GA4 就在 2026 年 5 月,為這件事新增了一個專屬管道。 適合 / 不適合閱讀 適合閱讀:有在經營網站、部落格、品牌內容,想搞懂「AI 到底怎麼改變 SEO」的人。 不適合閱讀:想要一份「照做就會上排名」操作清單的人 —— 這篇談的是結構認知,不是技巧。 你以為 SEO 就是:把內容寫好、產生一份 sitemap、提交給 Google,然後等爬蟲來收錄? 這個理解,在三年前是完整的。 在今天,它只說對了五分之一。 ![](https://image.joelin.cc/cdn-cgi/imagedelivery/0xu8EsaSar9n3zUKY5d7xw/migrations/wp/2026/05/ChatGPT-Image-2026%E5%B9%B45%E6%9C%8818%E6%97%A5-%E4%B8%8B%E5%8D%8807_07_56/hero) ## 過去的世界:一條乾淨的直線 Google 獨大 先講過去,你才看得懂現在多了什麼。 過去一個網站的生命週期,只有兩個角色在管。 * 第一個是 Google 的爬蟲(Googlebot)。它來把你的頁面讀一遍,登記進 Google 的索引,讀者搜尋時你才會出現。 * 第二個是 Google Analytics。它負責記錄「人」 —— 誰來了、從哪來、看了什麼。 所以過去是一條乾淨的直線: Googlebot 收錄你 → 讀者在 Google 搜尋 → 點進你的網站 → Analytics 記下這個人。 中間沒有別人 你只要服務好「一隻爬蟲」和「一份人流報告」就夠了。 ## AI 插進了中間 2025年起，AI 來了，而且越來越重要 AI 不是在這條直線旁邊多開一條路。 它是直接插進「搜尋」和「點進來」的中間。 使用者不再自己看十條藍色連結慢慢挑。他問 AI,AI 直接給答案。 而 AI 要能給答案,它得先「讀過」你的內容。 所以原本 T1 和 T5 之間那段空白,裂出了三種新的爬蟲。 老喬把這整條鏈,從頭到尾編成 5 個角色:T1 到 T5。 先把這張地圖記住,後面我們一個一個拆 ## 五種你要服務的SEO到ASO優化爬蟲 在一個一個拆解之前,先給你一張總表。 這就是 AI 時代,會來讀你網站的 5 種角色: | 層級 | 代表選手 | 一句話比喻 | 被它造訪,代表… | 時間差 | | ---------- | --------------------------- | -------------- | ------------------- | ------ | | T1 傳統搜尋爬蟲 | Googlebot、Bingbot | 圖書館的編目員 | 你有機會出現在 Google 搜尋結果 | 數天～數週 | | T2 AI 訓練爬蟲 | GPTBot、ClaudeBot、CCBot | 準備大考的學生 | 你被收進未來 AI 的記憶 | 數月(很慢) | | T3 AI 搜尋爬蟲 | OAI-SearchBot、PerplexityBot | AI 自己開的圖書館 | 你有資格被 AI 引用 | 數天～數週 | | T4 使用者觸發爬蟲 | ChatGPT-User、Claude-User | 現場辦案的偵探 | 你正在被引用(現在進行式) | 0(即時) | | T5 人類回流 | 不是爬蟲,是「人」 | 看完 AI 答案走進你家的人 | 整條鏈走完一圈,真人來了 | —— | T1 是你本來就認識的。T2、T3、T4 是 AI 帶來的新角色。T5 則是這條鏈的終點。 接下來,我們一個一個看。 ### T1：傳統搜尋爬蟲 —— 圖書館的編目員 T1:傳統搜尋爬蟲 代表選手:Googlebot、Bingbot。 這就是你本來就認識的那一隻。 它的工作是把你的頁面讀進搜尋引擎的索引,決定你在搜尋結果排第幾。 你可以把它想成圖書館的編目員。它來把你的書登記進館藏目錄,讀者查目錄,才找得到你這本書。 你提交 sitemap,就是主動跟編目員說一聲:「我這裡有新書,麻煩來收一下。」 被它造訪,代表的事很單純:你有機會出現在 Google 的搜尋結果裡。 這一層,三年前是 SEO 的全部。現在,它只是開場。 ### T2：AI 訓練爬蟲 —— 準備大考的學生 T2:AI 訓練爬蟲 代表選手:OpenAI 的 GPTBot、Anthropic 的 ClaudeBot、Common Crawl 的 CCBot。 這一種,目的跟 Google 完全不一樣。它不是要幫你排名,它是要把你的內容「吃進去」。 吃進去做什麼?拿去訓練下一代的 AI 模型。 你可以把它想成一個正在準備大考的學生。他把你整本書抄進筆記本,而考試 —— 也就是下一代 AI 上線 —— 是幾個月後的事。 所以這一層有個特性:它的回報「很慢」。 今天被 GPTBot 抄走,你不會馬上有任何感覺。但幾個月後那個新版 AI 的「腦袋」裡,就有了你的東西。 被它造訪,代表你的內容正在被收進未來 AI 的記憶。這件事沒有點擊、沒有排名,卻是真實的影響力。 ### T3：AI 搜尋爬蟲 —— AI 自己開的圖書館 T3:AI 搜尋爬蟲 代表選手:OpenAI 的 OAI-SearchBot、Perplexity 的 PerplexityBot。 這一種,是 AI 公司自己蓋了一間新圖書館。 它跟 T1 很像 —— 一樣是「建索引」 —— 但它建的索引不是給 Google 搜尋結果用的,是給 AI 回答問題時查的。 也就是說,當你問 ChatGPT 或 Perplexity 一個問題,它不是憑空回答,它會去翻自己那座圖書館的書架。 T3 爬蟲,就是負責把你的書放上那個書架的人。 被它造訪,代表你有資格「被 AI 引用」 —— 你進了那個 AI 回答問題時會翻的書架。 這一層的重要性,未來只會越來越高。因為它決定的不是「你排第幾」,而是「AI 講不講得到你」。 ### T4：使用者觸發爬蟲 —— 現場辦案的偵探 T4:使用者觸發爬蟲 代表選手:ChatGPT-User、Claude-User、Perplexity-User。 這一種最特別,它嚴格說起來不算「爬蟲」。 前面 T1 到 T3 都是「例行巡邏」 —— 定期來、大範圍地收。 T4 不一樣。T4 是有一個真人,此刻正在問 AI 一個問題,AI 發現「這題我得去翻一下老喬那一頁」,於是當場、立刻跑到你的網站,把那一頁抓回去回答那個人。 這不是巡邏,這是現場辦案。 所以 T4 的「時間差」是零。它出現的那一秒,就代表你正在被引用。 被它造訪,代表的不是「未來可能」,是「現在進行式」 —— 某個人的某個問題,此刻正用你的內容在被回答。 ### T5：人類回流 —— 看完 AI 答案,走進你家的人 T5:人類回流 代表選手:不是爬蟲,是「人」。 這一層回到了最一開始說的 Google Analytics 地盤。 當 AI 在回答裡引用了你、附上你的連結,有些人會真的點那個連結,走進你的網站。 這個從 chatgpt.com、perplexity.ai 點過來的真人,就是 T5。 它跟前面四層的差別很關鍵:T1 到 T4 是「機器」在讀你,T5 是「人」被帶來你家。 被它造訪,代表整條鏈真的走完了一圈 —— AI 讀了你、AI 引用了你、然後一個真人因此來了。 T5 是唯一一層,你可以在傳統人流分析工具裡直接看到的。 ## 以前 vs 現在:世界變了多少 把這 5 層擺在一起,你就看得出來世界變了多少。 過去,你的網站只跟 2 個角色打交道: T1(Google 來收錄)和 T5(分析工具記錄人流)。 一頭一尾,中間是空的。 現在,中間被 T2、T3、T4 填滿了。 而且這 3 個新角色,沒有一個會幫你帶來「點擊」。 T2 把你存進未來、T3 讓你有資格被引用、T4 當場引用你。 它們都是真實的價值,但它們都不會變成你流量報告上的數字。 這就是為什麼很多人覺得「我的內容明明還在,流量卻一直掉」 —— 因為價值被搬到了 T2、T3、T4,而你只盯著 T5 在看。 ### 未來趨勢:中間那三層只會繼續長 那接下來會怎麼走? 老喬的判斷很直接:T2、T3、T4 的佔比一定會繼續上升。 原因不複雜 —— 使用者越來越習慣「問 AI 拿答案」,而不是「自己在十條藍色連結裡挑」。 只要這個習慣在長,中間那三層就會一直長。 但「一定上升」只是方向。真正的問題是幅度:它上升得多快?吃掉你多少流量?又有多少人會回流? 這個幅度,Google Search Console 看不到 —— 它只看得到 Google 搜尋那一段。 要看幅度,你得看 GA4。 ## GA4 的關鍵更新:AI Assistant 管道 而 GA4 就在 2026 年 5 月(就在這個月),為這件事做了一個關鍵更新。 Google 在 GA4 的「預設管道分群(Default Channel Group)」裡 新增了一個叫「AI Assistant」的管道。 在這之前,所有從 ChatGPT、Gemini、Claude 點進來的人, 全都被丟進「Referral(參照連結)」這個大雜燴裡,你根本分不出來。 現在 GA4 會自動依照來源,把這些人單獨歸到「AI Assistant」管道,流量媒介(medium)標成 ai-assistant。 這代表 Google 正式承認:AI 助理,已經是一個跟搜尋、社群、付費廣告平起平坐的流量來源。 這個功能正在全球分批推送,要幾週才會完全鋪滿,所以你的後台還沒看到也算正常。 但它有一個天生的限制你必須知道:它只認得「有帶來源資料」的造訪。 從手機上的 ChatGPT App 點進來的人,作業系統常常會把來源資料吃掉,那一筆就會掉進「直接流量(Direct)」,你永遠不會知道他是從 AI 來的。 業界估計,有兩到四成的 AI 點擊是沒有來源資料的。 所以就算有了這個新管道,你看到的 AI 回流仍然是「低估」的。它讓你看得更清楚,但它不會讓你看得完整。 ## 老喬的看法 講到這裡,老喬說一下自己的看法。 老喬認為,這 5 層真正的意義,不是「又多了 4 件事要管」。 它真正在說的是:SEO 的「成功」定義,被改寫了。 過去成功很簡單 —— 排名高、有人點,兩個條件。 現在 T2、T3、T4 攤開來,告訴你一件以前不存在的事: 你的內容,可以「被大量使用」,卻「完全沒有點擊」。 被 AI 訓練收錄、被 AI 引用回答,這些都是不折不扣的影響力。它們只是不會在你的流量報告上,變成一個讓你安心的數字。 所以與其焦慮「我的點擊率怎麼一直掉」,老喬覺得更該先問一個更前面的問題: 這 5 種角色,到底有幾種真的來過我家? 因為一個連 AI 都不來讀的網站,在未來不是「流量低」,是「隱形」。 回到最開頭那個問題。 > 你以為 SEO 就是寫好內容、提交 sitemap、等爬蟲收錄? 現在你知道了: 提交 sitemap,只是把第 1 位訪客(T1)請進門。 後面還有 T2、T3、T4、T5 —— 4 個你以前根本不知道存在的角色。 所以 SEO 的問題,從「Google 有沒有收錄我」,變成了「這 5 種角色,有幾種找得到我、讀得懂我、願意引用我」。 這就是 AI 時代,你該重新認識的那張地圖。 ## 參考資料 參考資料 * Search Engine Journal —《Google Analytics Adds AI Assistant As Default Channel Group》: * Delante —《GA4 Adds an AI Assistant Channel: What It Changes》: * Google Analytics 說明中心 —《What’s new in Google Analytics》: * Google Analytics 說明中心 —《Default channel group》: * Google Search Central — Google 爬蟲總覽: * OpenAI — 爬蟲與 bots 說明(GPTBot / OAI-SearchBot / ChatGPT-User): * Anthropic 官方支援中心 — ClaudeBot 與爬蟲說明(support.anthropic.com) ---