本篇目錄(14 節)
抓資料的 AI 爬蟲,新網站上線當天就到;有人在 AI 裡問到你、AI 當場來讀,要晚幾天到幾週。我拿自家 7 個新站逐日追蹤,從上線第一天就有完整紀錄的那一站,Google、GPTBot、ClaudeBot、OpenAI 搜尋等 8 家都在第 0 天出現,代表有人正在問 ChatGPT 的 ChatGPT-User 第 2 天來,Claude 那邊到第 8 天都還沒等到。
我怎麼量的
2026 年 9 到 11 月,我陸續開了 7 個內容網站:地理比較 atlas、垃圾車時間 trash、診所查詢 clinic、幼兒園資料 edu、概念咖啡廳 concafe、扭蛋店地圖 gacha、顏文字 moji。每一站上線後,各家 AI 爬蟲第一次出現是第幾天,都可以從 Cloudflare 的連線紀錄算出來。
有一個限制要先講:2026 年 10 月 29 日以前,紀錄是 Cloudflare 的抽樣資料,一天只來一兩次的爬蟲可能被漏看。所以只有 11 月 2 日上線的 moji,「第幾天第一次來」是準的;其他 6 站的天數是最晚值,實際可能更早。爬蟲分三層的說法,我在 誰在讀你的網站?AI 時代的四種爬蟲 寫過,這篇沿用。
上線當天就到的:編目錄與抓訓練資料的爬蟲
| 爬蟲 | 用途 | moji | 其他 5 站 |
|---|---|---|---|
| GPTBot | 訓練 | 0 | 0 |
| ClaudeBot | 訓練 | 0 | 0–4 |
| OpenAI 搜尋 | 編目錄 | 0 | 0 |
| Googlebot | 搜尋 | 0 | 0–4 |
| Bing | 搜尋 | 0 | 0–1 |
| Perplexity | 編目錄 | 0 | 0–4 |
| Amazon | 訓練 | 0 | 1–5 |
| Apple | 編目錄 | 1 | 3–7 |
| Meta | 訓練 | 4 | 2–11 |
| 字節跳動 | 訓練 | 0 | 3–21 |
| Common Crawl | 訓練 | 未到 | 5–44 |
| ChatGPT-User | 當場讀 | 2 | 2–13 |
| Claude-User | 當場讀 | 未到 | 21–47 |
表中數字是上線後第幾天第一次出現,0=上線當天,moji 的「未到」是到第 8 天都還沒出現。「其他 5 站」是 atlas、clinic、edu、concafe、gacha,數字是最晚值;trash 另外說明。
前八列幾乎都在一週內到齊,而且大部分是上線當天。OpenAI、Anthropic、Google、Bing 這幾家應該都有在追新出現的網域和網站地圖,站一掛上就來。Apple、Meta、字節跳動晚幾天;Common Crawl 這種大規模公開爬蟲是批次跑,要等好幾週。
trash 是例外:網站在 9 月 4 日就掛上網域,但所有爬蟲都到 9 月 17 日以後才出現,整整晚了快兩週,原因我還沒查清楚,所以沒放進上表。
有人問 AI 才來的,晚幾天到幾週
表格最後兩列是即時取用層:有人此刻正在 ChatGPT 或 Claude 裡問問題,AI 當場來讀這一頁。它們不追網站地圖,要等有人問到相關的題目才會來。
- ChatGPT-User 在 moji 和 gacha 都是第 2 天,在其他新站是第 7 到 13 天。
- Claude-User 在 moji 到第 8 天還沒出現;其他新站可以用的兩筆,clinic 是第 21 天、concafe 是第 47 天(最晚值)。另外三站剛好在紀錄方式切換那幾天才第一次被看到,多半是切換後才看得見,不是那天才來,所以不引用。
同樣是「有人在問 AI」,ChatGPT 那邊明顯來得早。這可能和使用人數有關,也可能和兩家查資料的方式不同有關,光看這 7 個站分不出來。
來了之後,AI 當場讀取要幾週才長起來
| 網站 | 第1週 | 第3週 | 第5週 | 第8週 |
|---|---|---|---|---|
| atlas | 0 | 29.6 | 36.7 | 37.6 |
| clinic | 0 | 5.4 | 22.6 | 31.1 |
| concafe | 0 | 12.9 | 26.3 | 46.5 |
| edu | 0 | 84.0 | 64.0 | 43.5 |
| gacha | 12.0 | 19.4 | — | — |
| moji | 5.0 | — | — | — |
表中是 AI 當場讀取的每日平均次數,依開站第幾週計;「—」是還沒到那一週。上線日分別是 atlas 9 月 4 日、clinic 9 月 15 日、concafe 與 edu 9 月 21 日、gacha 10 月 19 日、moji 11 月 2 日。
9 月開的 4 個站,第 1 週都是 0,第 3 到 5 週才長到每天十幾到幾十次,之後大致持平;edu 第 3 週衝到每天 84 次又回落,是單一週的高峰。10 月以後開的 gacha、moji,第 1 週就已經有每天 12 次、5 次。
越晚開的站起步越快,可能的原因有三個,目前分不出是哪一個:
- 9 月時紀錄還是抽樣,少量的當場讀取可能被漏看;不過 gacha 第 1 週同樣是抽樣期,卻看得到。
- 9 月下旬起,站群的架站底盤規定每個站都要附給 AI 看的說明檔(llms.txt),10 月以後開的站一上線就帶著,9 月初開的站是後來才補上。
- 題目本身不同:扭蛋店和顏文字,本來就是常被拿去問的題目。題目對 AI 當場讀取的影響,我在 AI 讀你,看題目不看站齡 另外比較過。
新站上線後,可以看的三個時間點
- 第 0 天:確認網站地圖與 IndexNow 有送出,連線紀錄裡應該看得到 Googlebot、Bing、GPTBot、OpenAI 搜尋。看不到就先查是不是被防火牆或 robots.txt 擋掉。
- 第 7 天:Apple、Meta 應該也來過了;ChatGPT-User 有沒有出現,是第一個「有人在問」的訊號。
- 第 30 天:AI 當場讀取應該開始有穩定的每日次數。到這時還是 0,先檢查題目是不是本來就很少人會拿去問 AI。
方法與限制
- 資料來源是 Cloudflare 的連線紀錄,只算有登記的 AI 與搜尋引擎爬蟲,已扣除冒用爬蟲名字去翻密碼檔、掃後台的請求。
- 上線日以網站程式碼第一次提交日,或第一次有爬蟲來的日子,取較早者。
- 2026 年 10 月 29 日以前是抽樣紀錄,以後是逐筆紀錄。完整樣本目前只有 moji 一站,其他站的天數都是最晚值。
- 7 個新站都用同一套架站底盤,上線時都會送網站地圖與 IndexNow;換一種架站方式,時間可能不同。
- AI 當場來讀的是 AI,不是人,次數不能換算成讀者人數。
本文數字是 2026 年 11 月 10 日的快照,不再隨後續資料更新;要看的是時間差的樣子,不是精確天數。
常見問題
新網站上線多久,ChatGPT 才會讀到?
要分兩種。OpenAI 替搜尋編目錄的爬蟲在老喬的新站都是上線當天就來;有人在 ChatGPT 裡問到你、ChatGPT 當場來讀的 ChatGPT-User,在 7 個新站裡是第 2 到 13 天第一次出現。
爬蟲來了,是不是代表 AI 回答時會用到我?
不一定。上線當天就來的多半是編目錄和抓訓練資料的爬蟲,它們把你收進去,不代表有人在問。真正代表「被拿去用」的是名字帶 User 的那一類,要另外看。
新站第一週都沒有 AI 當場來讀,正常嗎?
以老喬站群的紀錄是正常的。9 月開的 4 個站第一週都是 0,到第 3 到 5 週才長起來;10 月開的站起步比較快,但第一週也只有每天個位數到十幾次。
為什麼有些爬蟲隔了好幾週才出現?
各家節奏不同。Common Crawl 這種大規模公開爬蟲本來就是批次跑,在老喬的新站要 5 到 44 天;Claude-User 要有人在 Claude 裡問到相關題目才會來,題目冷門就會晚。
本文關鍵字:新網站收錄、AI 爬蟲、ChatGPT-User、GPTBot、網站上線
本篇摘要
老喬用自家 7 個在 2026 年 9 到 11 月上線的新網站,逐日追蹤各家 AI 爬蟲第一次來的日子。唯一從上線當天就有完整逐筆紀錄的顏文字站 moji(2026 年 11 月 2 日上線),Google、Bing、GPTBot、ClaudeBot、OpenAI 搜尋、Perplexity、Amazon、字節跳動都在第 0 天出現,Apple 第 1 天、Meta 第 4 天;代表有人正在問 ChatGPT 的 ChatGPT-User 第 2 天就來,Claude-User 到第 8 天都還沒來。其他 6 個新站因為上線時紀錄還是抽樣,只能當最晚值:抓資料的爬蟲大多在 0 到 5 天內到,ChatGPT-User 在 2 到 13 天,Claude-User 可用的兩筆是 21 與 47 天。上線之後,AI 當場來讀的量要幾週才長起來:9 月開的 atlas、clinic、concafe、edu 第 1 週都是 0,第 3 到 5 週才到每天 10 到 80 次;10 月開的 gacha 第 1 週就有每天 12 次。文中附新站上線第 0、7、30 天的檢查重點,並說明抽樣、換紀錄方式的接縫與樣本數限制。
- 統計對象是老喬自家 7 個 2026 年 9 到 11 月上線的內容新站,用 Cloudflare 紀錄看各家 AI 爬蟲第一次來是上線後第幾天
- 唯一從上線當天就有完整逐筆紀錄的是 moji(2026 年 11 月 2 日上線),其他 6 站上線時紀錄是抽樣,天數只能當最晚值
- moji 上線第 0 天就來的有 Google、Bing、GPTBot、ClaudeBot、OpenAI 搜尋、Perplexity、Amazon、字節跳動
- moji 的 Apple 第 1 天、Meta 第 4 天來;代表有人正在問 ChatGPT 的 ChatGPT-User 第 2 天就來
- Claude-User 在 moji 到第 8 天都還沒出現;其他新站可用的兩筆是第 21 天與第 47 天
- 其他新站的 ChatGPT-User 第一次出現在上線後第 2 到 13 天,Common Crawl 要 5 到 44 天
- 9 月開的 atlas、clinic、concafe、edu 第 1 週 AI 當場讀取都是 0,第 3 到 5 週才長到每天 10 到 80 次
- 10 月開的 gacha 第 1 週就有每天平均 12 次 AI 當場讀取,越晚開的站起步越快,原因目前分不出來
想看更多網站經營實測?
真實數字,每週一封寄給你
常用 Google 搜尋嗎?
把老喬報設為偏好來源,搜尋時會更常看到這裡的文章。
