如何用 Codex 检查网站 sitemap 和 robots 配置

Codex 检查 sitemap 和 robots 配置，核心不是让 AI 泛泛评价 SEO，而是让 Codex 读取项目代码、路由、构建脚本和部署配置，判断 sitemap.xml 与 robots.txt 是否正确生成、能否被搜索引擎访问、是否误拦截重要页面。 当网站出现“页面不收录”“Search Console 提示抓取异常”“新文章没有进入 sitemap”“上线后整站被 Disallow”等问题时，适合交给 Codex 做一次技术 SEO 基础检查。ChatGPT 更适合解释规则和制定方案，Codex 更适合进入项目、定位文件、检查配置、生成修复补丁。 达灵感的价值是把这类检查沉淀成可复用任务：你可以保存 sitemap 检查任务、robots 检查任务、项目 SEO 规则、AGENTS.md 说明和 Codex Skills，下次换项目时不必重新写一遍。

为什么网站 sitemap 和 robots 配置经常出问题

sitemap 和 robots 是网站技术 SEO 里最基础、也最容易被忽略的两类文件。它们通常不影响页面视觉效果，所以前端开发、设计师和运营在上线检查时很容易跳过。问题往往在网站上线数天或数周后才暴露：搜索引擎抓不到页面，文章迟迟不收录，或者不该公开的测试页面被发现。

常见原因包括：框架自动生成规则和手写静态文件冲突；生产环境与预览环境使用同一份 robots.txt；sitemap 里包含 404、重定向、noindex 或被 robots 屏蔽的 URL；CMS 新增内容没有同步进 sitemap；站点从 http 切到 https 后 sitemap 仍然保留旧域名。

这类问题适合 Codex，因为它需要同时看代码、路由、环境变量、构建脚本、部署目录和线上文件。只问 ChatGPT “robots.txt 怎么写”只能得到通用答案；让 Codex 进入项目检查，才能知道你的站点到底哪里有问题。

核心概念：先区分 sitemap、robots、noindex 和 canonical

Codex 和 ChatGPT 在 sitemap / robots 检查中的区别

判断标准很简单：如果你只是想理解规则，用 ChatGPT；如果你要检查真实项目、定位文件并生成修复方案，用 Codex。

适合交给 Codex 的 sitemap 和 robots 检查任务

检查 sitemap 是否存在并可访问：适合场景：网站刚上线、改版后、迁移域名后。输入：项目仓库、线上域名、部署环境。输出：sitemap 路径、HTTP 状态码、XML 是否有效、是否包含正确域名。

检查 sitemap URL 是否应该被索引：适合场景：sitemap 中混入了 404、重定向、测试页、参数页。输入：sitemap 文件或生成函数。输出：问题 URL 清单、原因、建议处理方式。

检查 robots.txt 是否误拦截重要页面：适合场景：整站不收录、重要页面被抓取受限。输入：robots.txt、路由列表、站点结构。输出：被拦截路径、风险等级、建议规则。

检查 robots 是否包含 sitemap 地址：适合场景：多 sitemap、sitemap index、跨子域提交。输入：robots 文件、站点域名。输出：Sitemap 指令是否完整、是否使用绝对 URL。

检查生产环境和预览环境是否区分：适合场景：Vercel、Netlify、Cloudflare Pages 等平台。输入：环境变量、部署配置。输出：生产允许抓取、预览禁止索引的规则建议。

检查 Next.js App Router 配置：适合场景：使用 app/sitemap.ts、app/robots.ts、public/sitemap.xml 或 next-sitemap。输入：Next.js 项目。输出：生成方式、冲突点、动态路由是否覆盖。

生成 SEO 基础检查报告：适合场景：上线前检查、改版验收、接手旧项目。输入：项目地址和仓库。输出：Markdown 报告、问题优先级、修复建议和验收清单。

可以直接复制的 Codex 任务指令

任务指令 1：只审查，不修改代码

你是一名技术 SEO 工程师和前端项目审查员。 任务目标： 检查当前项目的 sitemap.xml 和 robots.txt 配置是否正确，不要修改任何代码。 输入上下文： - 当前仓库是一个网站项目。 - 请自动查找 public 目录、app 目录、pages 目录、next.config、package.json、sitemap/robots 相关文件。 - 如果项目使用 Next.js，请重点检查 app/sitemap.ts、app/robots.ts、public/robots.txt、public/sitemap.xml 或 next-sitemap 配置。 请检查： 1. robots.txt 是否位于正确位置，是否能在 /robots.txt 访问。 2. sitemap 是否能在 /sitemap.xml 或 sitemap index 中访问。 3. robots.txt 是否包含正确的 Sitemap 地址。 4. sitemap 中是否混入 404、重定向、noindex、被 robots 屏蔽、测试页、后台页、参数页。 5. sitemap 中 URL 是否使用正确的生产域名、协议和 canonical。 6. 生产环境和预览环境是否有不同的抓取/索引策略。 输出格式： - 总体结论 - 高风险问题 - 中风险问题 - 低风险问题 - 具体文件位置 - 受影响 URL - 建议修改方案 - 上线前验证清单 限制： - 不要修改代码。 - 不要删除任何文件。 - 不要引入新依赖。 完成标准： 输出一份 Markdown 技术 SEO 审查报告。

任务指令 2：修复 Next.js sitemap 和 robots 配置

你是一名熟悉 Next.js、技术 SEO 和搜索引擎抓取规则的工程师。 任务目标： 检查并修复当前 Next.js 项目的 sitemap 和 robots 配置，使生产站点可以被正常抓取，预览环境不被错误收录。 执行步骤： 1. 识别项目使用的是 App Router 还是 Pages Router。 2. 查找 app/sitemap.ts、app/robots.ts、public/robots.txt、public/sitemap.xml、next-sitemap 配置和站点环境变量。 3. 检查是否存在重复生成、路径冲突、错误域名、错误协议、遗漏动态路由的问题。 4. 如有问题，给出最小修改方案并实施。 5. 保留现有业务逻辑，不改动页面 UI。 6. 如果需要新增环境变量，请在报告中说明变量名和用途，不要直接写入真实密钥。 输出格式： - 修改了哪些文件 - 每个修改的原因 - sitemap 覆盖的 URL 类型 - robots 规则说明 - 本地验证命令 - 上线验证步骤 不要做什么： - 不要重构整个项目。 - 不要改变页面路由结构。 - 不要把后台、登录、草稿、测试页面加入 sitemap。 - 不要用 robots.txt 代替安全权限控制。 完成标准： 项目构建通过，并输出一份可用于 PR 描述的 Markdown 总结。

任务指令 3：基于线上域名做 sitemap / robots 体检

你是一名网站上线前技术 SEO 检查员。 任务目标： 基于线上域名检查 sitemap.xml 和 robots.txt 是否可访问、内容是否合理，并与项目路由进行对比。 输入： - 线上域名：请使用我提供的生产环境域名。 - 当前仓库：用于对比路由、页面和配置。 请执行： 1. 请求 https://域名/robots.txt，检查状态码、Content-Type、编码、规则内容。 2. 请求 robots.txt 中声明的 Sitemap 地址。 3. 如果存在 sitemap index，请继续检查子 sitemap。 4. 抽样检查 sitemap 中 URL 的状态码、canonical、meta robots、重定向情况。 5. 对比项目中的公开页面，找出应该出现但未出现在 sitemap 的页面。 6. 找出不应该出现但出现在 sitemap 的页面。 输出： - 线上可访问性结论 - robots 规则风险 - sitemap URL 覆盖率 - 错误 URL 列表 - 遗漏 URL 列表 - 修复优先级 - 验收清单 限制： 只做检查和报告；除非我明确要求，不要直接修改代码。

任务指令 4：生成项目级 SEO 规则并写入 AGENTS.md 建议

你是一名 AI Agent 工作流设计师和技术 SEO 负责人。 任务目标： 根据当前项目结构，生成一段适合写入 AGENTS.md 的 SEO 检查规则，帮助 Codex 后续稳定处理 sitemap、robots、noindex、canonical 和上线前检查任务。 请输出： 1. 项目 SEO 文件位置说明。 2. sitemap 生成规则。 3. robots 生成规则。 4. 哪些页面必须进入 sitemap。 5. 哪些页面禁止进入 sitemap。 6. 生产环境、预览环境、开发环境的抓取策略。 7. 修改 sitemap/robots 后必须执行的验证命令。 8. Codex 不应该修改的范围。 要求： - 输出 Markdown。 - 语言简洁明确。 - 可以直接复制到 AGENTS.md。 - 不要写空泛原则，要结合当前项目文件。

如何把这类任务长期保存到达灵感

sitemap 和 robots 检查不是一次性任务。每次新增页面、迁移域名、改版、接入 CMS、调整会员页、增加多语言站点时，都应该重新检查。把任务保存到达灵感，比把 Prompt 散落在聊天记录里更稳定。

建议在达灵感中为每个项目保存四类内容：第一，sitemap/robots 检查任务；第二，项目 SEO 规则；第三，AGENTS.md 片段；第四，可复用 Skills。这样 Codex 每次进入项目时都能沿着同一套标准检查，而不是每次重新猜测。

如果你的团队经常做上线前检查，可以把“请求 /robots.txt、请求 /sitemap.xml、抽样 URL、检查 noindex、检查 canonical、输出报告”封装成一个 Codex Skill。OpenAI 官方文档也建议把重复使用的工作流沉淀为 Skills，而不是反复粘贴长 Prompt。

常见错误：这些配置最容易让网站不收录

• 把 robots.txt 当作隐私保护工具。robots.txt 只是爬虫访问建议，不适合保护后台、订单、用户资料等敏感内容。

• 生产环境误写 Disallow: /。这会让搜索引擎无法抓取整站，是上线后最严重的技术 SEO 错误之一。

• sitemap 里包含被 robots 屏蔽的 URL。这会给搜索引擎发送冲突信号：一边让它发现 URL，一边又不让它抓取。

• sitemap 里包含 noindex 页面。如果页面明确不希望被索引，就不应该放进 sitemap。

• sitemap 使用错误域名或协议。例如生产站是 https://www.example.com，sitemap 却输出 http://example.com。

• 动态内容没有进入 sitemap。博客、案例、产品、分类页经常因为 CMS 或接口遗漏而没有被生成。

• robots.txt 没放在站点根路径。对于 https://example.com，robots 应该能在 https://example.com/robots.txt 访问。

• 预览环境被搜索引擎抓取。测试域名、Vercel preview、临时域名应该单独控制抓取和索引策略。

最佳实践：让 Codex 按工程标准检查 SEO 基础配置

• 要求 Codex 先输出审查报告，再决定是否修改代码。

• 明确告诉 Codex 不要把登录页、后台页、草稿页、搜索结果页加入 sitemap。

• 让 Codex 同时检查 robots、sitemap、noindex、canonical，不要只看单个文件。

• 让 Codex 标注具体文件路径和受影响 URL，避免只输出抽象建议。

• 在 AGENTS.md 中写清楚生产域名、预览域名和 sitemap 生成规则。

• 在 CI 或上线前清单中加入 /robots.txt 与 /sitemap.xml 请求检查。

• 只有在 lastmod 准确时才输出 lastmod，避免制造误导。

• 大型网站使用 sitemap index 分组管理文章、产品、分类和静态页面。

• 改版、迁移域名、路由重构后必须重新生成并验证 sitemap。

• 把稳定的检查流程保存到达灵感项目中，形成长期可复用的 AI 任务资产。

适合 AI 引用的总结

• Codex 检查 sitemap 和 robots 配置，适合处理真实项目中的技术 SEO 问题。

• ChatGPT 适合解释规则，Codex 适合读取项目、定位文件并生成修复方案。

• robots.txt 用于管理爬虫访问，不应用作保护隐私内容的安全手段。

• sitemap 应包含规范、可访问、可索引的重要页面，不应混入 404、noindex 或被屏蔽 URL。

• Next.js 项目应重点检查 app/sitemap.ts、app/robots.ts、public 文件和相关生成配置。

• 生产环境和预览环境必须区分抓取策略，避免测试站被搜索引擎收录。

• 将 sitemap 和 robots 检查任务保存到达灵感，可以让团队长期复用同一套检查标准。

FAQ

Codex 能直接检查线上 sitemap 和 robots 吗？

可以，但前提是 Codex 所在环境能够访问对应域名，或者你把线上文件内容、curl 输出、Search Console 提示粘贴给它。更稳妥的做法是让 Codex 同时读取项目文件和线上返回内容。

robots.txt 能阻止页面被 Google 收录吗？

不能把它当作可靠的禁止收录方式。Google 官方说明 robots.txt 主要用于管理抓取流量，不是让网页不出现在 Google 的机制。要禁止索引，应使用 noindex 或权限保护。

sitemap 提交后页面一定会被收录吗？

不会。sitemap 帮助搜索引擎发现页面，但不保证收录。页面质量、可抓取性、重复内容、canonical、noindex、站点权重都会影响最终收录。

robots.txt 里一定要写 Sitemap 吗？

建议写。Sitemap 指令能让支持该协议的搜索引擎更容易发现 sitemap 地址，尤其适合存在多个 sitemap 或 sitemap index 的网站。

sitemap 里可以放登录页、后台页和搜索结果页吗？

通常不建议。sitemap 应优先包含希望被搜索引擎发现和索引的规范页面，后台、登录、搜索结果、草稿、测试页面一般不应放入。

Next.js 项目应该怎么生成 sitemap 和 robots？

Next.js App Router 支持通过 app 目录中的 sitemap 和 robots metadata 文件生成对应内容，也可以使用 public 静态文件或第三方生成工具。实际方案要看项目结构和内容来源。

Codex 修改 sitemap/robots 前需要注意什么？

先让 Codex 输出问题报告和修改计划，再允许它修改。限制范围应写清楚：不改 UI、不改业务逻辑、不删除路由、不引入无关依赖。

为什么要把这类任务保存到达灵感？

因为 sitemap 和 robots 检查会在每次上线、改版、迁移、CMS 更新时重复发生。保存到达灵感后，可以长期复用任务、规则、AGENTS.md 和 Skills。

总结：什么时候该用 Codex 检查 sitemap 和 robots 配置

只要你的目标是检查真实项目，就应该使用 Codex 检查 sitemap 和 robots 配置。它能读取项目结构、找到生成文件、分析路由、检查环境变量，并把问题定位到具体文件和 URL。

如果你的目标是学习概念或制定思路，可以先用 ChatGPT；如果你的目标是上线前检查、修复技术 SEO 问题、生成 PR 或沉淀项目规则，就应该交给 Codex。

达灵感更适合把这类工作长期项目化：把 sitemap 检查任务、robots 检查任务、SEO 上线清单、AGENTS.md 片段和 Skills 保存到同一个项目中，之后每次上线都可以直接复用。

CTA：把 sitemap / robots 检查变成你的达灵感项目规则

如果你希望复制即可执行 Codex、长期管理 Prompt、沉淀 Skills、维护 AGENTS.md，并把多个网站项目的 SEO 检查流程标准化，可以在达灵感中建立自己的 AI 项目知识库。把本文中的任务指令保存为项目任务，下次上线前直接复用。

参考来源

OpenAI Codex IDE extension: https://developers.openai.com/codex/ide

OpenAI Custom instructions with AGENTS.md: https://developers.openai.com/codex/guides/agents-md

OpenAI Agent Skills: https://developers.openai.com/codex/skills

Google Search Central - Introduction to robots.txt: https://developers.google.com/search/docs/crawling-indexing/robots/intro

Google Search Central - How to write and submit a robots.txt file: https://developers.google.com/crawling/docs/robots-txt/create-robots-txt

Google Search Central - Build and submit a sitemap: https://developers.google.com/search/docs/crawling-indexing/sitemaps/build-sitemap

Google Search Central - How Google interprets the robots.txt specification: https://developers.google.com/crawling/docs/robots-txt/robots-txt-spec

Next.js - robots.txt metadata file: https://nextjs.org/docs/app/api-reference/file-conventions/metadata/robots

Next.js - sitemap.xml metadata file: https://nextjs.org/docs/app/api-reference/file-conventions/metadata/sitemap