Domain Methodology · Public Health

心脏病风险分类模型的验证式教学

以 UCI Heart Disease(id=45)processed Cleveland 子集为基准:303 例真实历史病例(Detrano et al. 1989;CC BY 4.0)。本域教的是风险建模的验证纪律——防泄漏划分、 判别与校准分离、阈值即决策。历史研究数据,禁止用于真实临床诊断。

H1–H5 预登记协议流程

协议 V1.0 先于分析锁定(datasets/health-heart-disease/protocol.md);标签映射与缺失策略显式记录。

H1字段、缺失与标签审计

303 例;缺失 ca=4、thal=2("?" 是缺失编码不是合法水平)→ 完整案例法 297; 标签二元化规则显式记录(num==0→0;1–4→1)→ 160 阴性 / 137 阳性。

教学点:任何"数字转标签"的规则必须随每次结果输出——隐式转换是临床数据科学的经典事故源。

H2基线协变量筛查 + OR 表

连续特征按结局分组:Welch t + Mann-Whitney + Cohen's d(age d=0.466,阳性更年长组更高; thalach 阴性组更高);7 个分类特征卡方 + 期望频数检查;19 项检验家族 Bonferroni(13 显著)/ BH-FDR(16 显著)。OR 表(GLM/IRLS 流行病学惯例):ca OR=3.55 [2.11, 5.98]、 thalach OR=0.98(保护方向)、exang OR=2.24。

H3防泄漏划分与交叉验证

分层 80/20(seed=42):训练 237 / 测试 60;StandardScaler + LogisticRegression 置于同一 Pipeline,标准化只在训练折内拟合。5 折分层 CV AUC = 0.869 ± 0.069——CV 与留出集 指标分开报告,禁止只报好看的那个。

教学点:预处理泄漏会同时抬高 CV 与留出指标且更难察觉——"Pipeline 化"不是风格偏好,是正确性要求。

H4评价:判别、阈值、校准、解释、敏感性

留出集 AUC=0.9498;0.5 阈值混淆(tn28/fp4/fn6/tp22,敏感度 0.7857 / 特异度 0.8750 / F1=0.8148);Youden 阈值 0.1864(敏感度 1.00 / 特异度 0.7812 / F1=0.8889, FN→0 的代价是 FP 4→7);19 档阈值扫描表;Brier=0.0938 + 校准曲线(判别≠校准); 置换重要性 top=ca(AUC 降幅 0.0748);敏感性分析:剔除 fbs/restecg 后 ΔAUC=+0.0045、共有特征符号零翻转(设定稳健)。

课堂金句:0.5 没有天然正当性——筛查语境漏诊 21% 通常不可接受;"最优阈值"必须绑定代价语境。

H5复现交付

results.json / report.md / tables(系数、OR、阈值扫描、置换重要性)/ figures(ROC + 校准); 独立口径交叉核验:sklearn vs 秩和法 AUC 差 =0.0(同概率);GLM+秩和 vs sklearn 差 0.0011 (<0.005 跨求解器容差);python scripts/verify.py --suite health 一键对账; 环境指纹(库版本/seed/平台)随 results.json 输出。

数值锚点卡(授课只引用这些锁定值)

样本链303 →(−4 −2 缺失)→ 297(160 阴 / 137 阳)
5 折分层 CV AUC0.8694 ± 0.0685
留出集 AUC0.9498(n_test=60,须带波动提示)
F1(0.5 / Youden)0.8148 / 0.8889
Brier 分数0.0938
最强血管征象ca OR = 3.55 [2.11, 5.98]
敏感性分析ΔAUC=+0.0045,符号零翻转

课堂讲点(教师速查)

⚖️ 判别与校准为什么分开讲

AUC 只说"排序对不对"(筛查够用);Brier + 校准曲线说"概率本身可信吗"(决策与沟通必需)。 本模型判别好(0.95)而校准一般——这正好是教学素材而非缺陷。

📉 小样本的诚实

测试集仅 60 例:任何指标必须同时给出 CV 标准差(±0.069)与抽样波动提示; 引用裸点估计是本域的反面教材。

🧭 与教育台的迁移对照

tools/ 与 8 个通用 Skills 全部复用;协议/字典/锚点/领域 Skills 全重做—— 一次迁移讲清"框架通用、领域配置"的架构含义。

不适用方法(显式声明,防方法错配)

生存分析/Cox(无随访时间与删失字段)· 纵向/混合模型(无重复测量)· 因果效应估计(观察性无识别策略, OR 只表述关联)· 调查加权(非复杂抽样)· 填补作主分析(协议为完整案例法,填补须修订协议后另行验证)
⚠️ 临床边界(不可协商):历史研究数据;不得用于真实临床诊断 或个体健康决策;报告尾注随每份产物输出。
# 一键复现本域全部数字
python examples/health-demo/run_h1_h5.py
python scripts/verify.py --suite health   # 公卫段逐项对账