数字员工效果评测
一句话： 评数字员工，就像给一个真实员工写绩效——从技能开始，一层层往上评，每一层的产出都要能量化、能对比、能写成一句「简历式」的成绩。评不清楚，就等于没招到人。
一、是什么
数字员工效果评测是一套跟着 OPC 三层走、从最细的技能层开始逐层往上的量化评估体系。它不回答「这个 AI 好不好用」这种笼统问题，而是回答：
- 这件事它做得好不好？（Skill 层）
- 这摊活它能不能独立扛住？（Post 层）
- 这群人能不能协作把大目标做成？（Company 层）
每一层都有具体的、可对比的指标，每层评完都能产出一句「简历式结论」。
二、为什么用
招一个真实员工，我们不会只问「你行不行」，而是看：
- 具体会做哪些活，每件做得怎么样（技能）
- 能不能独立顶起一个岗位（岗位）
- 放进团队里，能不能协作出成果（公司）
数字员工完全一样。但常见的错误是笼统地问「这个 AI 好不好用」——没有分层、没有量化、没有基线对比，结论是「还行」。
这套评测体系的核心纪律：下层没评过，上层评测不成立。 技能都不达标，岗位「看起来能跑」也是假象。
三、核心原则：产出要量化成「简历句」
判断一个员工干得好不好，最有说服力的是简历上那种句子：
「把客服平均响应时长从 5 分钟压到 45 秒，人工介入率从 30% 降到 8%。」
数字员工的每一项产出，都要能写成这样的前后对比量化句。
量化三要素：
| 要素 | 含义 | 例子 |
|---|---|---|
| 基线（前） | 没有它 / 旧做法时的水平 | 人工写话术平均 5 分钟 |
| 结果（后） | 用了它之后的水平 | 数字员工生成 + 微调 40 秒 |
| 口径 | 怎么测的、测了多少样本 | 30 条真实工单，人工计时 |
没有基线的「结果」是耍流氓。「准确率 90%」如果不知道人工准确率是多少、样本是什么，等于没说。
四、第一层：Skill 效果评测（最细，最重要）
1. 定「合格」和「优秀」两条线
Skill：根据订单号生成物流催促话术
- 合格线：物流信息准确（100%）、话术无需大修、可直接发送
- 优秀线：语气贴合品牌、主动安抚情绪、客户零追问
2. 用 ≥20 条真实样本逐条打分
| 指标 | 定义 | 记录方式 |
|---|---|---|
| 准确率 | 核心信息正确的比例 | 20 条里对 18 条 = 90% |
| 可用率 | 无需人工修改可直接用的比例 | 20 条里 15 条免修 = 75% |
| 一次通过率 | 第一次就达到合格线的比例 | — |
| 失败类型分布 | 错在哪（编造信息/语气差/漏关键点） | 分类统计，指导改进 |
3. 三种打分手段
- 规则判分：输出能用明确规则判对错 → 直接程序化统计
- 对标判分：有真实结果 → 对比逼近程度；没有 → 让更强的 AI 生成「标准答案」再比
- AI as Judge：难用规则界定（如语气）→ 让 AI 按给定维度打分，配 1~2 个好/坏示例对齐标准
4. 写成简历式结论
Skill「物流催促话术」评测：
基线（人工）：平均 5 分钟/条，口径不统一
结果（数字员工）：15 秒/条，准确率 93%，可直接发送率 80%
一句话：把话术产出从 5 分钟降到 15 秒，准确率 93%。
五、第二层：Post 岗位评测
| 指标 | 含义 | 基线 vs 结果示例 |
|---|---|---|
| 闭环率 | 岗位自己处理完的比例 | 62% → 81% |
| 调度准确率 | 是否把任务分给了正确的 Skill | 78% → 91% |
| 越界率 | 不该它管却硬答的比例 | 12% → 2% |
| 端到端时长 | 从接任务到出结果的总耗时 | 90 秒 → 45 秒 |
级联测试：模拟岗位一天的真实任务流（≥30 条），看多个 Skill 串起来会不会断链，记录哪步断、为什么。
六、第三层：Company 公司评测
| 维度 | 看什么 | 简历式说法 |
|---|---|---|
| 完成度 | 复杂目标最终达成到什么程度 | 「月度投诉率从 6% 降到 2.4%」 |
| 稳定性 | 长程运行中断/出错次数 | 「连续运行 72 小时，异常自恢复 5 次，0 人工介入」 |
| 自我修正能力 | 出错后能否自己纠回 | 「异常自愈率 65%」 |
| 协作损耗 | 岗位交接是否丢信息 | 「交接返工率从 20% 降到 5%」 |
七、案例：一家女装店的完整三层评测
Skill 层：查物流话术
| 指标 | 基线 | 结果 |
|---|---|---|
| 耗时 | 5 分钟/条 | 15 秒/条 |
| 准确率 | 85% | 93% |
| 可用率 | — | 80% |
Post 层：售后处理专员（4 个 Skill 封装）
| 指标 | 初始 | 优化后 |
|---|---|---|
| 闭环率 | 62% | 81% |
| 调度准确率 | 78% | 91% |
| 越界率 | 12% | 2% |
Company 层：三岗位协作 30 天
| 指标 | 第 1 周 | 第 4 周 |
|---|---|---|
| 客服 NPS | 42 | 55 |
| 人工介入率 | 25% | 15% |
| 异常自恢复 | 0 | 4 次 |
完整简历句： 女装店数字员工体系——查物流话术 5 分钟→15 秒；售后闭环率 62%→81%；三岗位协作后 NPS 42→55，人工介入 25%→15%。
三层评测从最细的「耗时」到最宏观的「NPS」，每一环都有数据。这家店不是「感觉数字员工有用」，而是能精确说出它用在了哪、省了多少、提升了多少。
八、案例：作业催收 Skill 的评测与迭代
第一版评测
| 指标 | 人工 | 数字员工 |
|---|---|---|
| 家长回复率 | 15% | 28% |
| 耗时 | 2h/天 | 3 分钟 |
回复率提升了但没有达标（目标是 50%）。
定位问题
逐条分析失败样本——25 条未回复的催收消息中：
- 10 条话术太「机械」（「亲爱的家长，您的孩子还有作业未提交」）
- 8 条发送时间不对（工作日 10 点发送，家长在上班）
- 7 条只催了一次就放弃
迭代修复
| 问题 | 修复 |
|---|---|
| 话术太机械 | 根据逾期天数用不同情绪模板（刚逾期→温和，3 天→紧迫，7 天→升级，配学生叫名） |
| 发送时间不对 | 改为工作日 19:00-20:00 发送 |
| 只催一次 | 增加 48 小时后二次提醒 |
第二版评测
| 指标 | 第一版 | 第二版 |
|---|---|---|
| 家长回复率 | 28% | 52% |
| 家长投诉 | 0 | 0 |
简历句： 作业催收回复率 15%→52%，每日省 2 小时。
关键教训： 第一版 28% → 第二版 52%，提升不是靠「更聪明」，而是靠老老实实分析每一条失败样本、逐条修复。评测不是为了证明「数字员工比人强」，而是为了找到哪里还不够好。
九、反馈标准：评完要能指导改进
评测不是打个分就完，要形成 「评 → 改 → 复评」 闭环。反馈三条标准：
- 可定位：说清问题出在哪一层、哪个 Skill、哪一步。
- 错：「效果不好」。对：「物流话术在『延迟发货』场景 30 条错 9 条，都错在没安抚情绪」。
- 可量化：改进目标是数字。
- 「把该场景可用率从 70% 提到 92%」而不是「改得更好一点」。
- 可复评：改完用同一批样本、同一口径再测一次，对比前后。
十、常见误区
| 误区 | 表现 | 为什么错 |
|---|---|---|
| 笼统问「好不好用」 | 不分层、不量化、不对比基线 | 「还行」等于评测没做 |
| 不看失败样本 | 只看准确率数字，不逐条分析失败的 | 迭代方向全靠猜 |
| 没有基线 | 只说「准确率 90%」，不说人工是多少 | 不知道改善了多少——报喜不报忧 |
| 只测一次不复评 | 第一版有个数就当完事 | 数字员工会漂移——定期抽检，尤其业务变化后 |
| 跳层评测 | Skill 没评好就直接评 Post | 下层不稳，上层指标全是虚假繁荣 |
| 只评分不反馈 | 评测报告归档，不形成改进任务 | 评测的终点是改，不是打分 |
| 样本不真实 | 用 5 条自己编的测试跑一下就出结论 | 真实场景的边缘才是杀手 |
| 简历句写不出 | 说不清「做之前是多少、做了后是多少」 | 说明评测没做到位 |
十一、与其他工具的关系
- 上游：02 · Skill 层——Skill 定义时就要定好合格/优秀标准
- 上游：03 · Post 层——Post 评测指标（闭环率/越界率）
- 上游：04 · Company 层——Company 评测指标（完成度/稳定性/自愈率）
- 约束：01 · OPC 模型——逐层评测、不下层不过上层
十二、评测速查表
① 跟着 OPC 三层走：Skill → Post → Company，下层没过不评上层
② 每项产出量化成「简历句」：基线（前）+ 结果（后）+ 口径
③ Skill 评最细：定合格/优秀两档 → ≥20 条真实样本逐条打分 → 统计指标
④ 打分三手段：规则判分 / 对标判分 / AI as Judge
⑤ Post 评四个：闭环率、调度准确率、越界率、端到端时长 → 级联测试 ≥30 条
⑥ Company 评四个：完成度、稳定性、自愈率、协作损耗
⑦ 反馈三标准：可定位、可量化、可复评 → 形成「评→改→复评」闭环
⑧ 每层每评产出 ≤20 字简历句——说不清就是没评透