AI 与数据项目专项工作流

业务决策 → 数据来源/授权 → 身份链和时间语义 → 原始/规范/特征层 → 标签成熟窗口 → 规则基线 → 时间/实体隔离切分 → 离线评测 → 失败案例 → 小流量上线 → 漂移/成本/质量监控。

合成数据只能验证管线。历史未来信息不能进入当时决策特征；成功、失败、未选择、未出单和亏损样本都要保留。

数据门

• 每个字段有来源系统、外部ID、业务时间、采集时间和质量状态。
• 训练当时不可获得的数据不能进入历史特征。
• 缺失、未采集、不适用、冲突和已确认未知分别编码。
• 商品、店铺、货源、任务和订单之间有稳定映射。
• 训练、验证、测试按时间和实体隔离。

模型门

先给规则或简单统计基线。只有在固定测试集上证明分层增益，才升级复杂模型。除了总体指标，还要报告类目、店铺阶段、价格带、时间和关键错误成本。

RAG/提示词门

• 检索来源和版本可追溯。
• 评测“是否检索到正确证据”，不只评测回答文风。
• 无证据时允许拒答或请求补充。
• 保存失败案例集，按失败类型修改提示词/检索/工具，而不是盲目加长提示词。

上线门

小流量或影子运行；记录模型、提示词、数据和代码版本；监控质量、漂移、延迟、成本、人工修改率和业务结果；保留规则/人工回退。