# ==========================================
# 1. 允許 SEO & AEO (主要 AI 搜尋引擎) 爬蟲
# ==========================================
User-agent: Googlebot
User-agent: Bingbot
User-agent: Baiduspider
 
# AEO / 主流 AI Search Engine & DeepSeek Crawlers
User-agent: DeepSeekBot         # DeepSeek AI 爬蟲
User-agent: DeepSeek            # DeepSeek 備用識別標籤
User-agent: OAI-SearchBot      # OpenAI SearchBot (ChatGPT 搜尋功能)
User-agent: ChatGPT-User        # ChatGPT 瀏覽網頁功能
User-agent: PerplexityBot       # Perplexity AI 搜尋
User-agent: Claude-Web          # Claude 網頁即時搜尋
User-agent: Amazonbot           # Amazon / Alexa 搜尋與回答
 
Allow: /
 
# ==========================================
# 2. 封鎖 AI 模型訓練/數據採集 Bot
# ==========================================
User-agent: GPTBot              # OpenAI 數據訓練
User-agent: Google-Extended     # Google Gemini 模型訓練
User-agent: CCBot               # Common Crawl (大量 AI 訓練數據源)
User-agent: Anthropic-AI        # Anthropic 模型訓練
User-agent: ClaudeBot           # Claude 模型訓練
User-agent: Bytespider          # 字節跳動 (TikTok) 爬蟲
User-agent: Diffbot             # 數據抽取與 AI 訓練
User-agent: Applebot-Extended   # Apple AI 模型訓練
User-agent: FacebookBot         # Meta 數據採集
User-agent: cohere-ai           # Cohere AI 訓練
 
Disallow: /
 
# ==========================================
# 3. 封鎖特定地區搜尋引擎、小眾 Bot & 競品分析爬蟲
# ==========================================
# 封鎖 You.com (小眾 AI 搜尋)
User-agent: YouBot
 
# 封鎖 Yandex (俄羅斯搜尋引擎)
User-agent: Yandex
User-agent: YandexBot
 
# 封鎖 DuckDuckGo (隱私搜尋引擎)
User-agent: DuckDuckBot
 
# 封鎖 SEO 工具爬蟲
User-agent: AhrefsBot
User-agent: MJ12bot
User-agent: SemrushBot
User-agent: DotBot
User-agent: Rogerbot
 
Disallow: /