在
《从对话到行动:B端AI智能体交互范式》文中末尾提到交互设计师转型&新的交付物--自治度光谱图、状态空间地图、信任阶梯模型、人机握手协议、异常恢复剧本, 本文将详细讲解如何用数据验证AI智能体产品,附完整埋点框架。
传统B端产品埋点主要看"用户点了什么、停留多久、有没有转化"。AI Agent产品的埋点必须多加三个层面:
AI是否被信任、AI质量是否稳定、业务价值是否兑现
。以下六大维度覆盖了完整埋点框架。
回答"AI真的能把事办成吗"——这是B端Agent最核心的一组。
这是Agent产品独有的维度——衡量"用户是否敢让AI放手做"。
回答"到底为公司省了多少钱"——这是决策层最关心的。
下面每一项都不是概念口号,而是一份可以画在Figma里、可以给技术评审、可以做A/B测试的具体规格。以
外贸应收催收Agent
为统一案例。
它替代了什么:
传统的"角色权限矩阵"——例如"客服可查看/编辑/删除工单"这种一刀切授权。
它是什么:
一张表,横轴是任务类型,纵轴是6个自治度等级(Level 0-5)。每格填的是"AI在这类任务上处于哪一级"。
为什么替代权限矩阵:
传统权限是"能不能做"的二元开关;自治度光谱是"多大程度上自己做"的连续光谱——多了"能不能不问就做"这个新维度。
如何量化验证:
每个自治度等级绑定 autonomy_level 字段,用户可通过后台调整等级。追踪 autonomy_level_up 事件——晋升率反映Agent信任积累速度。
它替代了什么:
传统的"线性流程图"——A→B→C→D→完成。
它是什么:
一张状态机图,列出Agent运行过程中所有可能的状态节点+触发状态转移的条件+每个状态的UI反馈。
为什么替代线性流程图:
Agent是非线性的——可能并行、可能异步等待、可能失败回退、可能被人工接管。线性流程图无法描述"AI卡住时用户看到什么"。
如何量化验证:
埋点 state_enter_{state_name} + state_duration_ms,可分析:哪个状态停留最久?哪个状态跳转异常?WAITING_HUMAN占比过高说明自治度太低。
它替代了什么:
传统的"用户分层策略"——按新老用户/付费等级分不同界面。
它是什么:
一张阶梯表,规定用户与Agent的"信任关系"分5级,每级AI的权限扩展、每级的解锁条件、每级用户看到的界面差异。
为什么替代用户分层:
传统分层是产品单方面把用户分类;信任阶梯是
用户用自己的行为数据来解锁
——放权节奏由用户决定。
如何量化验证:
核心指标就是 trust_level_distribution ——你的用户里T1-T5各占多少比例?健康的产品应该是漏斗形(T1>T2>T3>T4>T5),但3个月后T3+T4的比例应该稳定上升。
它替代了什么:
传统的RBAC(基于角色的权限控制)表——"财务角色可以审批<10000元"这种静态规则。
它是什么:
一份规则清单,规定
什么情况下Agent必须停下来等人
(handshake trigger),以及等人的具体交互形式。
为什么替代RBAC:
RBAC说的是"谁能做什么",握手协议说的是"AI什么时候必须问人"。RBAC是静态的,握手协议是根据实时上下文动态触发的。
如何量化验证:
埋点 handshake_triggered + handshake_type + handshake_response_ms。分析:硬阻塞太多→自治度设计过激;软阻塞被忽略率高→握手方式不合理;平均响应时长过长→用户对握手信号麻木了。
它替代了什么:
传统的"错误提示规范"——把不同错误码映射到不同文案。
它是什么:
一份剧本清单,穷举Agent所有可能的失败场景,为每种失败设计"用户从遇到→理解→修复"的完整体验路径。
为什么替代错误提示规范:
错误提示只解决"告诉用户出错了";恢复剧本解决"用户怎么把事继续做下去"。前者是通知,后者是设计。
参考FuseLab的研究,一个合格的错误信息应包含三部分:
What / Why / What next
。
如何量化验证:
三个核心指标——error_type_distribution(哪类错误最多)、recovery_success_rate(用户在错误后继续完成任务的比例)、time_to_recover_ms(从错误发生到用户恢复操作的耗时)。FuseLab的经验值:恢复成功率健康线是>80%。
做产品的顺序建议是:先画状态空间地图(不知道Agent会经过哪些状态就没法设计其他)→ 再定自治度光谱(确定AI在各任务上能做多深)→ 再写握手协议(在自治度之上设保险丝)→ 再写恢复剧本(保险丝烧了怎么办)→ 最后设信任阶梯(把前四者串成用户成长路径)。
整套体系的核心指标监控面板应该包含:
任务完成率、AI采纳率、Trust Level分布、握手触发频次、恢复成功率
——这5个数看下来,Agent产品的健康度基本就清楚了。