techcrunch.com 的 GEO 检测报告
检测时间：2026/10/30 11:52:41（Asia/Shanghai）· 检测地址：https://techcrunch.com/
67C
满分 100（Web 版内容流失为估算口径）
robots.txt12llms.txt0JSON-LD20内容流失25UA 探测10
改进建议
- robots.txt 禁止了 GPTBot：建议在 robots.txt 为 GPTBot 添加 Allow 规则
- robots.txt 禁止了 ClaudeBot：建议在 robots.txt 为 ClaudeBot 添加 Allow 规则
- robots.txt 禁止了 Bytespider：建议在 robots.txt 为 Bytespider 添加 Allow 规则
- 未部署 llms.txt：建议在站点根路径部署 llms.txt，向 AI 引擎提供内容指引
- 以下 AI 爬虫被服务器拦截或要求挑战：Bytespider——如非有意限制，建议检查 WAF/反爬规则对其放行
robots.txt AI 爬虫规则
警告| 爬虫 | 类别 | 判定 | 规则 |
|---|---|---|---|
| GPTBot | 训练 | 禁止 | Disallow: / |
| OAI-SearchBot | 搜索 | 放行 | — |
| ChatGPT-User | 用户 | 禁止 | Disallow: / |
| ClaudeBot | 训练 | 禁止 | Disallow: / |
| Claude-SearchBot | 搜索 | 放行 | — |
| PerplexityBot | 搜索 | 放行 | — |
| Bytespider | 训练 | 禁止 | Disallow: / |
| CCBot | 训练 | 禁止 | Disallow: / |
| Applebot-Extended | 训练 | 禁止 | Disallow: / |
| Google-Extended | 其他 | 说明 | 该token由Google前台控制，无独立爬虫，需检查Googlebot是否被允许（当前 robots.txt 对 Googlebot 的判定：允许） |
llms.txt
警告未部署 llms.txt
JSON-LD 结构化数据
通过检测到 1 个 JSON-LD 数据块
AI 爬虫可达性（UA 探测）
警告以 Chrome UA 为基线访问 https://techcrunch.com/
| 爬虫 | 类别 | 结果 | 与基线差异 |
|---|---|---|---|
| GPTBot OpenAI | 训练 | 可访问 · 200 | 与基线一致 |
| OAI-SearchBot OpenAI | 搜索 | 可访问 · 200 | 与基线一致 |
| ChatGPT-User OpenAI | 用户 | 可访问 · 200 | 与基线一致 |
| ClaudeBot Anthropic | 训练 | 可访问 · 200 | 与基线一致 |
| Claude-SearchBot Anthropic | 搜索 | 可访问 · 200 | 与基线一致 |
| PerplexityBot Perplexity | 搜索 | 可访问 · 200 | 与基线一致 |
| Bytespider ByteDance | 训练 | 被拦截 · 429 | 状态码 200 → 429 |
| CCBot Common Crawl | 训练 | 可访问 · 200 | 与基线一致 |
| Applebot-Extended Apple | 训练 | 可访问 · 200 | 与基线一致 |
内容流失（CSR 盲区）
通过Web 版估算口径：统计服务端 HTML 中 AI 爬虫（不执行 JS）可见的正文量。
AI 爬虫可见正文约 12480 字符（服务端 HTML 共 452416 字符）· 内容量评估：充足