教学 Agent 评测与回归体系

视频

当前为占位视频框（示例，待替换）

项目定位

目标用户

维护教学类 Agent 的产品 / 评测同学，需要可复现地衡量迭代效果（示例，待替换）

核心问题

改完规则不知道有没有变好，失败样例散落在日志里，难以沉淀成可持续的回归资产（示例，待替换）

解决思路

每日回扫日志 → 归因失败 → 产出规则候选 → 人工审批 → 跑回归 → 版本管理，形成闭环

核心机制

关键数字

截图

案例

一例失败 → 归因 → 改规则 → 复测

1. 失败：学生提问「……」时，Agent 给出了错误讲解（示例，待替换）
2. 归因：归因：检索命中了过时知识点 / 提示词边界未覆盖该题型（示例，待替换）
3. 改规则：改规则：补充边界说明，并将该题型加入评测集（示例，待替换）
4. 复测：复测：同题 + 同类题回归通过；相邻知识点未回归失败（示例，待替换）

以上案例为示意流程（示例，待替换为真实记录）

我的角色与反思

• 独立负责：评测集设计、打分标准、回扫与回归流程搭建（示例，待替换为真实分工）
• 做对的：把「失败样例」沉淀进评测集，而不是只修一次提示词（示例，待替换）
• 待改进：归因标签体系还不够细，跨题型复用成本偏高（示例，待替换）
• 可迁移点：用「人工审批 + 版本管理」约束 Agent 规则变更的风险（示例，待替换）