逐类 ROC
外折平均各类别的 one-vs-rest ROC,按外层测试折取平均。
4 个分类任务 · 7 个对照模型。从数据接入、特征筛选到模型评估与结果可视化,构建一套可复现的研究流程。
01 / RESEARCH DESIGN
以受试者为单位组织训练与评估,在统一的数据处理流程和划分方案下比较模型,让每一步实验都有清晰的配置与记录。
显式列出特征、标签和受试者标识,先排查重复、错误标签与缺失问题。
在每个训练折内重新完成过滤、填补、标准化和 RFE,再选择模型参数。
对未见样本预测一次,保留各折结果与划分指纹,观察表现和变动。
02 / EXPERIMENT EXPLORER
切换分类任务与比较指标,查看模型的整体表现,再深入观察逐类识别结果与特征选择。默认从逻辑回归开始探索。
正在读取已执行的实验结果…
点:外折得分 · 菱形:均值 · 横线:折间标准差。先验基线作为模型比较的参考。
| 模型 | 均值 | 折间 SD |
|---|
各类别的 one-vs-rest ROC,按外层测试折取平均。
行是真实标签,列是预测标签。每个样本只贡献一次外折预测。
在不同外折中追踪特征的保留情况,用入选频率呈现特征选择的一致性。
03 / REPRODUCE THE WORK
mlpd demo --output data/demo mlpd run --data data/demo/synthetic.csv --schema data/demo/schema.json --output runs/quick --models dummy logistic --outer-folds 3 --inner-folds 2
从数据校验到嵌套评估,通过统一命令执行实验,保存配置、划分与指标。
模型对照、逐类 ROC、混淆矩阵与特征入选频率,支持交互查看和独立图表下载。
模块化 Python 实现、Notebook 复现教程和完整研究指南,方便阅读、复用与扩展。