AI交付如何证明完成:从UI测试到代码迁移的验收器
AI能执行步骤,不代表它能独立证明结果正确。Epsilon的UI测试实践与AWS的Kiro迁移教程分别展示了轨迹证据和行为一致性检查;后者也明确暴露样例尚未完成验收。对企业交付团队而言,最重要的是先定义证据,再讨论自动化比例。
事实摘要
- AWS公开案例中,Epsilon继续使用Playwright作为确定性回归骨干,在其上叠加Nova Act自然语言测试,而不是撤掉原有自动化。
- Epsilon的流程记录每步截图、通过或失败状态和结构化结果。文中自然语言编写效率及已保存轨迹重放成功率来自其内部基准,且成功轨迹是在探索与提示迭代后保存的。
- Kiro迁移教程主张在生成Java代码前建立一致性测试器:同一请求分别对照PHP原系统与Java迁移结果,并要求注入破坏时测试能失败,防止验收器本身漏报。
- 该教程同时披露,示例只迁移37个模型中的4个,并未为这一切片建立一致性测试器。因此文章的方法目标与样例完成程度不能混写。
- OpenAI的Ropes & Gray案例采取另一种专业复核:对照已完成交易中的律师报告调整评估规则,律师检查中间摘要及原始文件后才向外提供成果。
向量纪元分析
- 向量纪元编辑判断:自报成功、重放成功与业务验收成功分别回答不同问题。已保存路径跑通不能证明新路径可靠;代码可编译不能证明边界行为一致;专业摘要流畅不能证明遗漏风险为零。
- 产品与交付建议:建立由原输入、预期结果、实际结果、独立断言及失败样例组成的验收记录。先用已知错误验证断言是否能报警,再验证正常用例;把没有覆盖的路径作为缺口列出,而不是纳入通过率分母。
- 常见问题:自然语言测试能替换全部脚本吗?本案例没有这么做。稳定关键路径适合保留确定性断言,自然语言可补充变化较多的交互探索。
- 常见问题:成功轨迹可以长期复用吗?应核对页面和业务版本;保存时成功并不保证以后数据和权限变化仍正确。
- 常见问题:如何复用迁移经验?教程建议修订共享规则再生成,而不是只修补单个输出;同时保留行为对照与批准的差异。
- 常见问题:材料不完整能否先宣称完成?不能。Kiro示例公开缺口恰好说明,参考方法可用与项目验收完成必须分开。
- 关于本文:向量纪元依据企业公开案例与官方教程编辑,面向企业AI交付团队。专业意见及正式交付由相应企业人员人工确认;不承诺通用成功率。
以上为文章中的企业影响判断与实施建议,应用到具体项目时仍需结合现场条件验证。