能发现问题,也能放过正确项吗?
把含有已知缺陷的样例和干净样例分开计算,分别观察检出情况与不必要告警。
Independent research prototype
当 AI 开始检查代码、配置和合规流程,我们还需要检验一件事:审计员本身可靠吗?这个研究原型设计了一组有明确答案的受控样例,用来观察审计模型是否稳定、在哪些场景容易误报,以及多个模型放在一起是否真的更可靠。
每个样例都经过人工编写和标注:要么包含一个已知问题,要么作为干净样例。模型收到统一的任务指令,并用结构化结果报告判断。评测关注的不只是“找没找到问题”,还要看错误是否稳定、模型之间是否互补。
把含有已知缺陷的样例和干净样例分开计算,分别观察检出情况与不必要告警。
对相同样例多次运行,记录结论翻转和稳定漏检,区分随机波动与持续偏差。
比较不同会话上下文和附加说明下的判断变化,观察模型是否能坚持按证据审计。
比较投票、并集和交集策略,并观察成员误报倾向是否会把集成结果带偏。
“让第二个模型再检查一次”不自动构成可靠性保障。评测一个审计系统时,还需要看它在哪些类型上稳定出错、是否把偏好误当成缺陷,以及每个集成成员给结果带来的具体变化。
公开范围:本页介绍研究问题、评测维度和限制。底层测试语料、模型原始响应、研究草稿及本地配置不随网站发布。
一个研究 AI 审计员自身可靠性的受控评测基准:用代码、安全配置和数据处理规则中有明确答案的受控样例,观察审计模型是否稳定、在哪些场景容易误报。
四个维度:准确与误报、重复运行下结论的一致性、上下文影响(前面的审计记录是否会带偏判断),以及多模型集成(投票、并集、交集)是否真的更可靠。
60 个受控合成样例全部由人工编写和标注:要么包含一个已知问题,要么是干净样例;模型收到统一的任务指令,并用结构化结果报告判断。
当前处于论文草稿阶段,结果未经同行评审,不提供性能排名;它更适合用来说明审计系统在哪些类型上稳定出错,以及评测审计系统时还需要看什么。