# https://www.interagent.io/robots.txt
#
# 預設政策：歡迎所有 search engine 與 LLM crawler。
# 僅阻擋 CMS / admin 介面，避免索引 EmDash 內部路由。
#
# /_emdash/api/media/ 是例外必須放行：站上所有公開媒體（範本 xlsx、封面圖、
# 客戶 logo）都經此端點提供（見 src/data/collections.ts），擋掉會讓 Google
# 無法抓取頁面資產。Allow 置於 Disallow 之前，確保依序比對的 parser 也正確。
#
# LLM-friendly resources（爬蟲請優先抓這些 plain text 版本）：
#   /llms.txt        — 精簡索引（依 llmstxt.org 規格）
#   /llms-full.txt   — 完整內容鏡像（case studies、industries、FAQ）
#
# Markdown 版本：每個公開頁面都有，兩種取法擇一——
#   1. 網址加 .md 後綴：/pricing → /pricing.md，首頁為 /index.md
#   2. 對 canonical 網址送 Accept: text/markdown
# 每個 HTML 頁面的 <head> 也有 <link rel="alternate" type="text/markdown">
# 指向自己的 .md 網址。

User-agent: *
Content-Signal: ai-train=yes, search=yes, ai-input=yes
Allow: /
Allow: /_emdash/api/media/
Disallow: /_emdash/
Disallow: /admin
Disallow: /setup

# LLM crawlers — 顯式 allowlist。預設 group 已涵蓋，這裡分組讓我們未來
# 要為個別 bot 微調（如收斂頻率、擋特定路徑）有現成 stanza 可改。
User-agent: GPTBot
User-agent: ChatGPT-User
User-agent: OAI-SearchBot
User-agent: ClaudeBot
User-agent: anthropic-ai
User-agent: Claude-Web
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
User-agent: Bytespider
User-agent: Amazonbot
User-agent: cohere-ai
Content-Signal: ai-train=yes, search=yes, ai-input=yes
Allow: /
Allow: /_emdash/api/media/
Disallow: /_emdash/
Disallow: /admin
Disallow: /setup

Sitemap: https://www.interagent.io/sitemap.xml