EN

虚拟细胞模型的评估陷阱：依据基准与批评类记录整理的核查清单

作者：GlioState 编辑团队 · 发布 · 最后更新

待审阅 版本 0.1.0 · 状态：初稿 · 最近专家审阅：尚未审阅

层级：通用层 · 组织范围：癌细胞系

研究问题

  • 文献库中的基准与批评类论文指出了哪些评估陷阱？
  • 对每一项陷阱，来源记录是哪一条，来源的成熟度如何（同行评审或预印本）？

当前认识

我们对文献库记录的阅读：基准与批评类论文指向一组反复出现的评估问题——难以超越的简单或含对照信息的基线、扰动间共享的响应、校准不当的指标、嵌入的零样本评估、在基线之外无增益的可解释性得分，以及单靠规模并不增加预测多样性。若干建议的补救办法仅以预印本记录，且有一篇同行评审论文对深度模型是否优于基线持相反立场。本页是依据记录的核查清单，而非结论。确定性：对“论文如此陈述”为高；这些问题相互作用，此处不排序。

范围与阅读方式。范围：仅依据文献库记录（标题、发表载体、一句话摘要与核验来源）；本页未通读全文，下列陈述均限于这些记录所述。预印本已标注，未经同行评审。本页不对胶质瘤或其他肿瘤作任何论断。本页是核查清单，不是排名，也不重复线性基线页面中的详细比较。 VC0048 VC0052

1. 基线。记录表明简单基线很强：基于深度学习的基因扰动效应预测尚未优于简单线性基线（VC0048）；“CRISPR 先验均值”（训练集中被扰动细胞均值并按先验知识设定靶基因）据报在三个数据集上优于微调 scGPT、GEARS 与简单神经基线，该论文还提供了校正后的 Adamson 数据集（VC0144）；一项涵盖 11 个数据集的基准报告表达预测方法很少能超过简单基线（VC0145）；另有一项将基础细胞模型与简单基线比较的基准（VC0049）。确定性：对“论文如此报告”为高；各论文对“基线”的定义不同。 VC0048 VC0144 VC0145 VC0049

2. 扰动间共享响应。Systema 记录为在系统性变异之外评估扰动预测的框架（Nature Biotechnology 2025）。我们对该顾虑的转述：若多数扰动使细胞向相似方向移动，模型就可能看起来不错，各数据集含有的这类成分可能不同。确定性：对“框架如记录所述”为高；各数据集的幅度见论文，我们仅引用而不重复。 VC0052

3. 指标校准与原则。一篇 Nature Biotechnology 论文（作者来自 Shift Bioscience，论文含利益冲突声明）主张 MSE 与 Pearson delta 常常校准不当，并在 14 个数据集、18 个指标上显示深度模型在校准指标下可优于无信息基线（VC0146）。一篇预印本围绕信号、界限与基线提出虚拟细胞扰动模型的评估原则（VC0053），另一篇预印本在对虚拟细胞模型的实证比较中报告基线差距依然存在（VC0054）；还有一篇预印本对基础模型表示在细胞扰动响应上做多模态基准（VC0055）。确定性：VC0146 为同行评审并披露了利益冲突；VC0053、VC0054、VC0055 为预印本，未经同行评审。 VC0146 VC0053 · 预印本 VC0054 · 预印本 VC0055 · 预印本

4. 嵌入与扰动任务的零样本评估。Genome Biology 论文报告 scGPT 与 Geneformer 的零样本局限（VC0050）；一篇 bioRxiv 预印本对单细胞基础模型的扰动效应预测做了基准（VC0051；预印本）。 VC0050 VC0051 · 预印本

5. 可解释性与规模。BMC Genomics 研究报告单细胞基础模型中由注意力导出的边得分在基线之外并未增加基因调控网络信息（VC0056）；PLoS Computational Biology 论文评估基于 Geneformer 模型的规模与预测多样性（VC0057）。确定性：对“论文如记录所述”为高；文献库在这些问题上仅有这些研究。 VC0056 VC0057

证据图谱

原始研究与数据集

  • VC0048 Deep-learning-based gene perturbation effect prediction does not yet outperform simple linear baselines. — Ahlmann-Eltze C, Huber W, Anders S., Nature methods, 2025
  • VC0052 Systema: a framework for evaluating genetic perturbation response prediction beyond systematic variation. — Viñas Torné R, Wiatrak M, Piran Z, Fan S, Jiang L, Teichmann SA, Nitzan M, Brbić M., Nature biotechnology, 2025
  • VC0144 Simple controls exceed best deep learning algorithms and reveal foundation model effectiveness for predicting genetic perturbations. — Wong DR, Hill AS, Moccia R., Bioinformatics, 2025
  • VC0145 A comparison of computational methods for expression forecasting. — Kernfeld E, Yang Y, Weinstock JS, Battle A, Cahan P., Genome biology, 2025
  • VC0146 Deep learning perturbation models can outperform baselines on calibrated metrics. — Miller HE, Mejia GM, Leblanc FJA, Swain B, Wang B, de Lima Camillo LP., Nature biotechnology, 2026

相关模型与工具

  • VC0053 · 预印本 Signal, Bounds, and Baselines: Principles for Evaluating Virtual Cell Perturbation Models — Vollenweider M, Bühlmann P., bioRxiv, 2026
  • VC0054 · 预印本 An Empirical Comparison of Virtual Cell Models: Perturbation Prediction, Representation, and the Baseline Gap — Denvis O., Research Square, 2026
  • VC0055 · 预印本 Multimodal Benchmarking of Foundation Model Representations for Cellular Perturbation Response Prediction — Hasanaj E, Cole E, Mohammadi S, Addagudi S, Zhang X, Song L, Xing EP., bioRxiv, 2025
  • VC0051 · 预印本 PertEval-scFM: Benchmarking Single-Cell Foundation Models for Perturbation Effect Prediction — Wenteler A, Occhetta M, Branson N, Curean V, Huebner M, Dee W, Connell W, Chung SP, Hawkins-Hooker A, Ektefaie Y, Valdez Córdova CM, Gallagher-Syed A., bioRxiv, 2024

扰动与验证证据

  • VC0049 Benchmarking foundation cell models for post-perturbation RNA-seq prediction. — Csendes G, Sanz G, Szalay KZ, Szalai B., BMC genomics, 2025
  • VC0050 Zero-shot evaluation reveals limitations of single-cell foundation models. — Kedzierska KZ, Crawford L, Amini AP, Lu AX., Genome biology, 2025
  • VC0056 Systematic evaluation of single-cell foundation model interpretability: attention-derived edge scores add no incremental value over gene-level features for perturbation-target prediction. — Kendiukhov I., BMC genomics, 2026
  • VC0057 Assessing scale and predictive diversity in models for single-cell transcriptomics based on Geneformer. — Chen J, Schmidt F, Henao R., PLoS computational biology, 2026

本页引用文献库条目 13 条，其中预印本（未经同行评审）4 条。

相关综述

本页涉及的实体

尚不确定之处

这些陷阱依据记录层面的摘要整理，本页未对每条论断做全文核查；线性基线页面报告了我们的全文阅读，该页是更详细的来源。 VC0048 VC0146

记录中，深度模型是否优于基线仍有争议（VC0048、VC0145 与 VC0146 相对），且各研究的数据集、基线与指标不同，因此没有单一陷阱可解释这一分歧。 VC0048 VC0145 VC0146

仅供科研与教育参考，不构成医疗建议，也不构成对任何诊疗或产品的推荐。患者请咨询主治医生。