先講結論:
想讓網站有機會出現在 ChatGPT Search,應確認 OAI-SearchBot 沒有被 robots.txt 或防火牆阻擋,重要頁面可被索引,而且公司名稱、服務和地區資料清楚一致。GPTBot 是模型訓練用途;ChatGPT-User 則是部分用戶操作,不決定 Search 的自動收錄。
不要只問一次「你聽過某公司嗎」便下結論。不同問法、地區、時間和搜尋模式會產生不同結果。先用客戶真正會問的服務問題測試,再查看回答有沒有啟用網頁搜尋和引用來源。
先分清 OpenAI 的三種用途
| User-agent | 用途 | 網站管理重點 |
|---|---|---|
| OAI-SearchBot | 讓網站有機會在 ChatGPT 搜尋功能出現 | 用 robots.txt 管理搜尋收錄,並允許官方 IP |
| GPTBot | 可能用於訓練生成式 AI 模型 | 是否允許可獨立決定 |
| ChatGPT-User | 部分由用戶觸發的網頁存取 | 不是自動爬網,也不用來決定 Search 收錄 |
這三個設定不是綁在一起。企業可以允許 OAI-SearchBot 參與搜尋,同時按自己的資料政策決定是否允許 GPTBot。
網站沒有出現時的檢查次序
- 查看 robots.txt。 確認沒有針對 OAI-SearchBot 或所有爬蟲的 Disallow 規則。
- 查看伺服器和防火牆。 robots.txt 容許並不代表 CDN 或保安服務沒有阻擋官方 IP。
- 確認頁面可索引。 noindex、錯誤 canonical、登入限制或大量依賴瀏覽器端 JavaScript,都可能造成障礙。
- 讓核心資料出現在正文。 公司名稱、服務、地區和聯絡資料不應只藏在圖片或互動元件。
- 對齊中英文實體。 名稱寫法、電話和公開資料應在網站及主要平台保持一致。
- 改善內容深度。 只有口號而沒有具體服務、流程和常見問題,難以成為有用來源。
不要期待即時或保證出現
OpenAI 官方說明指出,robots.txt 更新後,搜尋系統調整可能需要約一天;這不代表一天後一定引用。搜尋結果仍會按問題、相關性、內容和系統判斷而變化。
同樣地,加入結構化資料或一個所謂 AI 專用檔案,不能保證公司獲推薦。先做好 SEO、AEO 與 AI 搜尋的共同基礎,再用真實查詢持續檢查。
Websify 現時的爬蟲設定
本站的 robots.txt 允許一般爬蟲存取公開頁面,並把不應收錄的付款和資料表流程以頁面層級 noindex 處理。這可避免把私人流程放入搜尋結果,同時不妨礙公開服務與文章被理解。