AI算法测评(二)--算法测试流程

编号　

名称

描述信息

备注

1

明确算法测试需求

• 明确测试目的
• 明确测试需求, 确认测试需要的数据及场景
• 明确算法服务流程, 确认算法输入\输出的数据, 并向开发人员提出相关数据的输出要求
• 确认时间节点与人力支持

• 在需求评审阶段确认
• 若无评审, 需要跟相关人员进行确认
• 算法测试需求种类:　
• 01.算法测试种类
• 注： 强烈建议事先对评审的项目的业务有所了解，对后续测试方案和数据采集有较大影响

2

编写测试方案

• 确认算法测试主要场景和测试场景信息
• 确认各场景测试数据需求量
• 确认算法标签标准
• 确定算法性能指标定义及计算公式

• 算法测试方案模板:
• 算法测试方案模板v1.0
• 测试方案模板示例:
• 算法测试方案模板v1.0/示例--阅读机二期/ASR算法服务

3

测试数据方案

• 确认数据采集场所
• 确认数据采集设备及能够正常使用
• 确认数据采集人员及进度安排
• 数据检查\清洗与归类
• 测试报告生成日期

• 测试数据方案模板:
• 测试数据方案模板v1.0
• 测试数据方案示例: 测试数据方案模板v1.0/示例--阅读机二期/ASR算法测试数据

4

算法测试

• 确认算法相关细节, 主要参考使用文档或与算法人员沟通
• 测试脚本编写
• 测试指标统计及badcase样例展示与保存

5

形成测试报告

• 得出测试结论, 与测试目的保持一致
• 测试小结, 总结测试过程中发现的其他问题
• badcase统计与展示

• 测试报告模板:
• AI算法测试报告模板v1.1
• 测试报告示例1:
• 智能识题算法评测报告-v0.2.0

6

测试结果同步

• badcase同步
• 测试细节同步
• 后续结果跟进

7

测试数据与测试报告管理

• 对测试数据质量进行管理
• 测试数据版本管理
• 测试报告结果管理