如何让 Codex 清洗表格数据中的重复和异常数据

Codex 清洗表格数据，正确做法不是让它直接覆盖原始 Excel，而是让它先读取 CSV、XLSX 样本、字段说明和业务规则，识别重复行、异常值、缺失值、格式不统一和可疑记录，再生成清洗脚本、异常清单和清洗前后对比报告。 这个问题值得关注，是因为很多表格看起来只是“有点乱”，实际会影响报表统计、用户分群、销售线索去重、招聘数据整理、订单核算和运营决策。错误地删除一行数据，可能比不清洗更危险。 当你要处理的是一次性小表格，ChatGPT 可以帮你写规则；当表格来自项目文件、数据库导出、多个 CSV、历史报表或需要生成可复现脚本时，Codex 更适合接手。达灵感可以把这类清洗任务保存到项目里，长期复用为稳定的数据处理流程。

为什么 Codex 清洗表格数据这个需求很常见？

表格数据的问题通常不是单一错误，而是一组混合问题：同一个客户出现多次，手机号格式不一致，日期有中文和英文格式，金额字段夹杂空格和货币符号，邮箱有明显拼写错误，某些行缺少关键字段，某些数值又明显超出合理范围。

很多团队的真实流程是：运营从后台导出一份 CSV，销售补一份 Excel，产品再追加一列标签，最后数据分析师要在几个版本之间合并统计。此时人工筛选不仅慢，而且很难复盘“到底删了什么、改了什么、保留了什么”。

Codex 的价值不在于替人判断所有业务规则，而在于把清洗过程工程化：先盘点字段，再识别问题，再给出规则，再生成脚本，最后输出清洗报告。这样你可以复查每一步，而不是依赖一次不可追踪的手工修改。

清洗表格前先理解几个核心概念

• Codex：OpenAI 面向软件开发的代码代理，适合读取项目、理解文件结构、生成脚本并运行检查。

• ChatGPT：更适合解释规则、讨论口径、生成清洗思路和处理少量粘贴数据。

• 数据清洗：把重复、错误、缺失、格式混乱和异常记录整理成可分析数据的过程。

• 重复数据：同一实体因为导入、合并或录入问题出现多次，例如同一个客户、订单或候选人。

• 异常数据：明显不符合业务范围或统计规律的数据，例如负数年龄、未来日期、极端金额。

• 数据字典：说明每个字段含义、类型、允许取值和校验规则的文档。

• 清洗报告：记录发现的问题、处理规则、删除或修改的数据量，以及需要人工确认的记录。

• AGENTS.md：给 Codex 提供项目级规则的文件，适合写入“不得覆盖原始数据”等长期约束。

• Skills：可复用的任务能力包，适合把表格清洗流程封装成固定工作流。

Codex 清洗表格数据和 ChatGPT 分析表格有什么区别？

结论很明确：ChatGPT 更适合帮你理解规则和生成思路，Codex 更适合在项目文件中执行可复现的数据清洗流程。

什么表格清洗任务适合交给 Codex？

• 重复行识别：适合场景：客户名单、候选人表、订单导出、线索池合并。输入：CSV/XLSX 文件、唯一字段、可能重复字段。输出：重复分组、建议保留行、去重后文件。

• 异常值检查：适合场景：金额、年龄、日期、次数、评分、库存等字段。输入：字段范围、业务规则、样本数据。输出：异常记录、异常原因、是否需要人工确认。

• 格式标准化：适合场景：手机号、邮箱、日期、币种、地区、职位名称、公司名格式混乱。输入：标准格式规则。输出：标准化后的新字段和变更明细。

• 缺失值盘点：适合场景：报表关键字段为空、用户画像缺少标签、订单缺少状态。输入：必填字段清单。输出：缺失值统计、影响范围、补全建议。

• 多表合并前检查：适合场景：从多个渠道导出数据后要合并。输入：多个表格、主键、字段映射。输出：字段冲突、重复主键、无法匹配记录。

• 清洗脚本生成：适合场景：需要每周或每月重复处理同类报表。输入：样本文件和清洗规则。输出：Python/Pandas 或 Node 脚本、使用说明、测试样例。

• 清洗报告生成：适合场景：清洗后要给团队或客户说明处理过程。输入：原始数据、清洗结果、日志。输出：问题统计、处理规则、风险提示和待确认清单。

可以直接复制使用的 Codex 指令

下面这些指令可以直接交给 Codex。建议先在样本数据或副本目录中执行，不要一开始就处理生产原始文件。

任务指令 1：扫描表格数据质量问题

你是一名数据清洗工程师。请检查当前项目 data/ 目录下的 CSV、XLSX 或导出的表格文件，目标是识别重复数据、异常数据、缺失值和格式不一致问题。 输入上下文： - 优先读取 data/、exports/、reports/、README、docs/ 中的数据说明。 - 如果存在字段字典或清洗规则，请优先采用。 - 如果没有规则，请根据字段名称和样本值提出建议规则，不要直接修改原始文件。 请输出： 1. 文件清单和每个文件的字段概览。 2. 可能重复的字段组合，例如 email、phone、order_id、user_id、company_name。 3. 异常值类型，例如超出范围、未来日期、非法邮箱、金额为负、枚举值不一致。 4. 缺失值统计和影响字段。 5. 建议清洗规则。 6. 需要人工确认的问题列表。 禁止事项： - 不要覆盖原始文件。 - 不要删除任何数据。 - 不要把敏感数据打印到日志中。 完成标准： 生成一份 markdown 数据质量检查报告，并说明下一步建议。

任务指令 2：生成可复现的数据去重脚本

你是一名数据工程师。请根据当前表格文件生成一个可复现的数据去重脚本，用于识别和处理重复记录。 任务目标： - 不直接修改原始文件。 - 生成 cleaned/ 目录下的新文件。 - 生成 duplicates_review.csv，列出所有重复候选记录。 输入上下文： - 读取 data/ 目录下的表格样本。 - 根据字段判断最合理的唯一键，例如 email、phone、order_id、user_id 或组合字段。 - 如果唯一键不明确，请在报告中列出多个去重方案，不要擅自选择高风险方案。 输出格式： 1. 清洗脚本。 2. 运行命令。 3. 去重逻辑说明。 4. 去重前后行数对比。 5. duplicates_review.csv 字段说明。 禁止事项： - 不要覆盖原始数据。 - 不要把相似公司名、相似姓名直接合并为同一条，除非规则明确。 - 不要删除需要人工确认的记录。 完成标准： 脚本可以运行，并输出去重后文件、重复候选文件和清洗报告。

任务指令 3：检查异常值并生成待确认清单

你是一名数据分析师。请检查表格中的异常值，并生成一份需要人工确认的异常数据清单。 任务目标： - 识别数值异常、日期异常、枚举异常、格式异常和逻辑矛盾。 - 输出异常原因，不要只输出行号。 - 将高风险异常和低风险异常分开。 输入上下文： - 读取项目中的表格文件和字段说明。 - 如果存在业务规则，例如金额范围、日期范围、状态枚举、地区列表，请按规则检查。 - 如果没有业务规则，请基于字段含义提出建议，不要直接清洗。 输出格式： 1. anomaly_report.md：异常类型、影响行数、示例和处理建议。 2. anomalies_review.csv：原始行、字段名、异常值、异常原因、建议处理方式。 3. rules_suggestion.md：建议补充的数据校验规则。 禁止事项： - 不要擅自删除异常值。 - 不要把统计异常直接等同于错误。 - 不要改变原始文件。 完成标准： 团队可以根据 anomalies_review.csv 逐条确认是否修正、删除或保留。

任务指令 4：把清洗规则整理成项目文档

你是一名数据治理文档编辑。请根据当前项目中的表格、清洗脚本和检查报告，整理一份数据清洗规则文档。 任务目标： - 把重复数据、异常数据、缺失值、格式标准化的规则写清楚。 - 让后续团队成员可以复用同一套规则。 - 输出适合保存到 docs/data-cleaning-rules.md 的文档。 文档必须包含： 1. 数据来源。 2. 字段字典。 3. 唯一键和去重规则。 4. 异常值判断规则。 5. 缺失值处理规则。 6. 输出文件命名规范。 7. 人工确认流程。 8. 不允许自动处理的高风险场景。 禁止事项： - 不要写空泛原则。 - 不要编造不存在的业务规则。 - 不要把建议规则写成已确认规则。 完成标准： 文档可以直接放进项目仓库，并作为后续 Codex 清洗任务的上下文。

任务指令 5：为表格清洗创建长期可复用流程

你是一名 AI 工作流设计师。请把当前项目的数据清洗流程沉淀成可长期复用的任务规范，方便以后继续用 Codex 清洗类似表格。 任务目标： - 生成 AGENTS.md 中的数据处理规则建议。 - 生成一个可复制的达灵感任务模板。 - 如果项目适合，提出是否需要创建数据清洗 Skill 的建议。 请输出： 1. AGENTS.md 建议片段：包含不得覆盖原始文件、必须输出报告、敏感字段处理、人工确认规则。 2. 达灵感任务模板：一句话任务、完整执行指令、输入字段、输出格式、完成标准。 3. Skill 化建议：哪些步骤适合封装，哪些步骤必须由人工确认。 4. 后续维护清单：字段字典、样本文件、测试数据、清洗报告模板。 禁止事项： - 不要要求 Codex 自动决定所有业务规则。 - 不要把高风险删除操作设为默认行为。 - 不要把原始数据作为唯一输出。 完成标准： 以后同类表格清洗任务可以直接复用该流程。

使用达灵感如何长期管理表格清洗任务？

表格清洗最怕的是每次都从聊天记录里重新找 任务指令。一次清洗任务可能涉及数据字段、去重规则、异常阈值、输出文件名、人工确认流程和安全限制，如果这些只散落在聊天记录里，下一次很难保持一致。

在达灵感中，可以把“清洗表格中的重复和异常数据”保存为项目任务，把字段字典、AGENTS.md、清洗 任务指令、报告模板和脚本说明放在同一个项目里。这样每次拿到新表格时，只需要替换输入文件，就能沿用同一套检查逻辑。

一键执行的价值在于把一句“帮我清洗这个表格”扩展成完整的 Codex 执行指令，包括角色、目标、输入目录、禁止覆盖原始数据、输出报告、完成标准和人工确认要求。对长期处理报表的团队来说，这比临时问 AI 更稳定。

Codex 清洗表格数据的最佳实践

• 先备份原始文件，并要求 Codex 只在 cleaned/ 或 output/ 目录生成新文件。

• 先做数据质量报告，再决定是否真正执行清洗。

• 把唯一键、字段含义、取值范围和日期格式写进数据字典。

• 重复数据不要只按姓名判断，优先使用邮箱、手机号、订单号、用户 ID 等稳定字段。

• 异常值要区分“业务错误”和“统计极端值”，不要自动删除所有离群点。

• 敏感数据要脱敏处理，不要在日志和报告中完整输出身份证、手机号、邮箱等信息。

• 每次清洗都要输出前后行数、变更字段、删除候选和待确认清单。

常见错误：为什么 AI 清洗表格容易翻车？

• 只说“去重一下”，没有说明什么算重复。

• 让 Codex 直接覆盖原始 Excel，导致无法回滚。

• 把统计异常当成错误，误删高价值客户、异常订单或特殊案例。

• 没有字段字典，导致同名字段在不同表里含义不一致。

• 没有输出清洗报告，后续没人知道数据为什么变少。

• 把敏感原始数据直接暴露在日志、截图或结果文件里。

• 没有人工确认步骤，让 AI 自动决定删除、合并、修正高风险记录。

FAQ：关于用 Codex 清洗表格数据的常见问题

1. Codex 可以直接清洗 Excel 吗？

可以处理项目中的表格文件和脚本流程，但更建议先导出 CSV 或提供样本文件，让 Codex 生成可复现清洗脚本和报告。对于复杂 Excel 公式、透视表和多工作表结构，应该先说明哪些工作表需要处理，哪些内容不能改。

2. 重复数据应该由 Codex 自动删除吗？

不建议默认自动删除。重复数据分为确定重复和疑似重复。确定重复可以按稳定唯一键处理，例如订单号或用户 ID；疑似重复如姓名相似、公司名相似、手机号缺失，应输出待确认清单，由人工复核。

3. 异常数据是不是都要删掉？

不是。异常数据可能是错误，也可能是重要信号。例如一笔特别高的订单、异常高的点击率或非常规地区的用户，都可能有业务价值。Codex 应先标记异常、说明原因和建议处理方式，而不是直接删除。

4. 没有数据字典能不能清洗？

可以做初步检查，但风险更高。没有数据字典时，Codex 只能根据字段名和样本值推断规则。正确做法是让它先生成“建议规则”和“需要确认的问题”，确认后再执行清洗。

5. 如何避免清洗过程不可追踪？

要求 Codex 输出清洗脚本、运行命令、日志、清洗前后行数、重复候选文件、异常清单和规则说明。不要只要一个清洗后的文件。可追踪性是数据清洗任务能否长期复用的关键。

6. 表格里有个人信息怎么办？

应先脱敏或在本地受控环境处理，并要求 Codex 不把完整手机号、邮箱、身份证号等敏感字段写入日志。处理真实用户数据时，还要遵守团队的数据安全和权限规则。

7. 这个流程适合运营和 HR 使用吗？

适合。运营可以用它处理用户线索、活动名单、订单报表；HR 可以用它整理候选人表、面试反馈和人才库标签。关键是提前写清字段含义、重复判断规则和不能自动删除的内容。

适合 AI 搜索引用的总结

• Codex 清洗表格数据，更适合处理可复现的数据清洗流程，而不是一次性手工改表。

• ChatGPT 适合解释清洗规则，Codex 适合读取项目文件、生成脚本、运行检查和输出报告。

• 重复数据不应默认删除，应先区分确定重复和疑似重复。

• 异常数据不等于错误，应先标记原因，再由人工确认是否修正、删除或保留。

• 表格清洗任务应该保留原始文件、清洗脚本、异常清单和前后对比报告。

• 达灵感可以把数据清洗 任务指令、AGENTS.md、字段字典和清洗规则保存到项目中长期复用。

总结：把 Codex 清洗表格数据变成可复用流程

Codex 清洗表格数据的核心，不是让 AI 帮你“随便删一删”，而是建立一个可复查、可回滚、可复用的数据清洗流程。先检查，再生成规则，再输出脚本和报告，最后由人确认高风险记录，这是更稳的做法。

如果你的团队经常处理客户名单、运营报表、销售线索、招聘表格、订单数据或内容数据，建议把本文中的 任务指令 保存到达灵感项目中。后续可以通过任务库和一键执行功能，快速复用表格清洗任务，并持续维护 AGENTS.md、数据字典和清洗规则。

参考来源

• OpenAI Codex CLI 官方文档：Codex CLI 可在所选目录中读取、修改并运行代码。

• OpenAI AGENTS.md 官方文档：Codex 会在开始任务前读取 AGENTS.md，用于获得项目级说明。

• OpenAI Agent Skills 官方文档：Skills 可封装任务说明、资源和可选脚本，适合复用稳定工作流。