返回首页 AuditorBench 独立研究原型

Independent research prototype

AuditorBench

当 AI 开始检查代码、配置和合规流程,我们还需要检验一件事:审计员本身可靠吗?这个研究原型设计了一组有明确答案的受控样例,用来观察审计模型是否稳定、在哪些场景容易误报,以及多个模型放在一起是否真的更可靠。

受控评测基准60 个合成样例代码 · 配置 · 数据处理论文草稿阶段
CODE代码安全缺陷与干净样例
CONFIG基础设施配置错误与正确配置
POLICY数据处理与隐私规则
同一组受控输入→单模型重复审计→跨模型比较与集成

研究怎么做

每个样例都经过人工编写和标注:要么包含一个已知问题,要么作为干净样例。模型收到统一的任务指令,并用结构化结果报告判断。评测关注的不只是“找没找到问题”,还要看错误是否稳定、模型之间是否互补。

01 · 准确与误报

能发现问题,也能放过正确项吗?

把含有已知缺陷的样例和干净样例分开计算,分别观察检出情况与不必要告警。

02 · 重复运行

同一模型会不会反复改变主意?

对相同样例多次运行,记录结论翻转和稳定漏检,区分随机波动与持续偏差。

03 · 上下文影响

前面的审计记录或批准语句会影响它吗?

比较不同会话上下文和附加说明下的判断变化,观察模型是否能坚持按证据审计。

04 · 多模型集成

多数投票一定比单个模型好吗?

比较投票、并集和交集策略,并观察成员误报倾向是否会把集成结果带偏。

项目想说明什么

“让第二个模型再检查一次”不自动构成可靠性保障。评测一个审计系统时,还需要看它在哪些类型上稳定出错、是否把偏好误当成缺陷,以及每个集成成员给结果带来的具体变化。

边界与下一步

公开范围:本页介绍研究问题、评测维度和限制。底层测试语料、模型原始响应、研究草稿及本地配置不随网站发布。

常见问题 FAQ

01 · 项目

AuditorBench 是什么?

一个研究 AI 审计员自身可靠性的受控评测基准:用代码、安全配置和数据处理规则中有明确答案的受控样例,观察审计模型是否稳定、在哪些场景容易误报。

02 · 指标

它测什么指标?

四个维度:准确与误报、重复运行下结论的一致性、上下文影响(前面的审计记录是否会带偏判断),以及多模型集成(投票、并集、交集)是否真的更可靠。

03 · 数据

样例怎么来的?

60 个受控合成样例全部由人工编写和标注:要么包含一个已知问题,要么是干净样例;模型收到统一的任务指令,并用结构化结果报告判断。

04 · 边界

结论可以怎么用?

当前处于论文草稿阶段,结果未经同行评审,不提供性能排名;它更适合用来说明审计系统在哪些类型上稳定出错,以及评测审计系统时还需要看什么。