减少回合与延迟¶
优化目标是更早得到正确且可用的结果。工具响应更快、截图更少或 Token 更短都只是中间指标;必须同时核验定位、权限、结果和质量。
先定位瓶颈¶
flowchart LR
T[任务总时间] --> D[发现与合同读取]
T --> M[模型决策]
T --> N[工具与网络往返]
T --> S[服务执行]
T --> O[观察、恢复与质量核验]
记录各阶段跨度及关键路径。并行跨度不能直接相加当总耗时;没有服务追踪时,明确哪些时间只能从客户端观测。真实宿主速度与本地协议基准分别报告。
按收益实施¶
| 发现的浪费 | 优化 | 必须保留的边界 |
|---|---|---|
| 已知对象还遍历菜单和列表 | 精确对象读取、深链和任务路由 | 当前获权范围与对象归属 |
| 每轮加载所有合同 | 小索引、候选 Schema 按需读取 | 版本、失效和可发现性 |
| 独立读取逐次经过模型 | 有界并发、只读批量 | 逐项错误、取消和快照说明 |
| 模型反复暂停再问状态 | 服务等待、订阅或修订读取 | 总期限、失权、原操作引用 |
| 同页面重复读取相同对象 | 范围化请求合并、条件读取 | 不缓存授权决定,不吞掉新错误 |
| 页面快照过大、定位不准 | 命名区域、局部状态和控件索引 | 唯一目标与当前对话框范围 |
| 浏览器启动成为关键路径 | 能直接做的步骤用正式工具 | 视觉核验与页面局部状态仍保留 |
| 所有个人候选先上传再预览 | 可采用本地工作区与有限预览,按目的发布 | 远程处理授权、结果取得、真实文件与保留政策 |
| 重复创建看板或重新挂载视图 | 同一任务/候选ID增量更新,只有打开动作创建视图 | 对象修订、当前选择和无视图的结构化结果 |
| 每项编辑都经过模型一次 | 将一致的有界操作组合为原子或明确部分完成的动作 | 不混合不同权限/费用/确认要求,不开放任意执行旁路 |
请求合并必须考虑身份、范围、查询、修订和取消:一个调用者取消不应无条件中断其他合法订阅者。轮询遇到终态停止,页面不可见时按任务需要暂停;恢复可见时先核对状态,不机械补发所有错过的请求。
每种入口都有交互预算¶
localhost、CLI和MCP都需要测量;本地地址、嵌入数据库或工具调用不能自动证明更快。先公布任务、参考环境和分项预算,再测首个反馈、首个正确可用结果及完整交付。反馈动画/排队回执不算可用媒体或已保存文件,冷进程、热会话和已有视图分别报告。
| 路径 | 应测量 | 优先移出关键路径的工作 |
|---|---|---|
| CLI | 冷启动、help/窄发现、结果输出和退出、TTY补问/取消 | 无关联网/登录、启动Web、全项目扫描、重复解析完整合同 |
| MCP | 协议就绪、工具发现体积、首次/后续调用、取消/重连 | 每动作重启、全目录反复注入、原始大媒体或base64回传 |
| 本地视图 | 首屏可操作、输入到反馈、缩放/拖动长帧、保存持久回执 | 全量解码、索引、重挂载、无必要刷新和重复创建看板 |
| 远程能力/视图 | 身份接续、网络/排队/执行/取得/文件保存 | 重复登录/上传、逐轮经模型查状态、高频轮询与无界重试 |
CLI与MCP共用用例,但纯终端执行不应依赖Web进程。文件监听、索引和预览有界后台运行,提交前仍校验真实修订;短事务与锁竞争单测不能代替多入口并发。默认值和原生选择应减少首个有用结果前的决策数,不让用户先理解实现拓扑。请求、进程、视图及本地/网络字节分别计数,不能把少一次工具调用说成少一次HTTP。
采用方按任务定义预算,例如本地输入反馈、协议就绪、小对象读取与首个可操作视图各自的p95上限;具体毫秒值属于产品/环境合同,AXI不设通用模型出图秒数。记录项目规模、依赖安装状态、CPU/内存、OS、网络、宿主、制品和样本数;大项目与小项目、首次安装与正常启动分别测试。无权/冲突/unknown和真实文件校验为硬门禁,不能为了达标跳过。
浏览器动作预算¶
一次观察已确认一组独立短动作的对象和状态时,可以连续完成它们。跳转、打开对话框、改变对象、提交或遇到异常后重新观察。不要每次无害输入都全屏截图,也不要跨越未观察的页面变化继续盲点。
视觉素材、画布、音视频和最终外观必须保留实际核验。结构化“已生成”无法证明图片是否正确。
评测设计¶
先定义任务成功判据与可接受质量,再选样本。固定制品、宿主、模型、网络条件和数据;冷启动与已有连接分开。比较相同结果下的串行、并行单项和批量,保留失败和原始样本。
{
"task": "review-fixed-document",
"variant": "known-contract-direct-read",
"success": true,
"first_usable_ms": 1200,
"completed_ms": 2400,
"model_turns": 2,
"tool_calls": 3,
"http_requests": 3,
"browser_actions": 0,
"duplicate_effects": 0,
"quality": "decision-recorded-content-not-evaluated"
}
以上是记录格式示意,数值不是本项目实测。报告样本量、中位数、尾部耗时、失败、恢复与人工介入;样本不足时不制造统计结论。优化验收与任务证据见验证指南。