虚拟细胞挑战赛的指标与基线：评分奖励什么，证据在哪里相互矛盾

研究问题

• 对照代码与公开数据，挑战赛使用的 cell-eval 指标实际奖励什么？
• 两项主要的基线批评（VC0048、VC0052）在哪些地方一致、冲突，或依赖未明说的假设？
• 关于该基准的各种常见说法，各自需要满足什么条件才成立？

当前认识

我们的论点：挑战赛的评分奖励的东西比名称所暗示的更窄，而两项最知名的基线批评并不能相互解释。基于 cell-eval 代码和我们对 2025 年 H1 公开数据的伪批量计算（自行重实现，非官方流程）：与扰动无关的预测在 L1 PDS 上约得 0.51；PDS 随预测幅度增大而上升而 MAE 变差；仅设定一个基因即可使 Pearson delta 翻倍；以基线归一化的得分在零处截断。VC0048 与 VC0052 在基线定义、指标和数据上不同，VC0052 的机制无法解释 VC0048 基于误差指标的结果。2026 年尚无结果；我们的计算为 2025 年同一细胞系内任务，并非零样本（确定性：对代码解读与计算为中等，对推广到 2026 为低）。

范围。本页不复述挑战赛。一句背景：2026 年赛程要求在六个未见过的细胞系中零样本预测 CRISPRi 响应，用 Arc 的 cell-eval 评分；最终测试集 2026-10-22，提交截止 2026-11-05，截至 2026-10-16 尚无结果（Arc，VC0107）。我们只问三个可对照一手来源核查的较窄问题：指标奖励什么（A）、VC0048 与 VC0052 在哪里冲突（B）、各种说法需要满足什么才成立（C）。确定性标签指所引来源或我们可复现的计算对论断的支持程度，而非其重要性。标注“我们自己的分析”的内容是在伪批量数据上的重实现，局限见“方法与结果”。 VC0107

A1 — L1 PDS 既奖励方向也奖励幅度，且与扰动无关的预测得分约 0.5。论断：判别得分不能被当作纯粹的“方向正确”得分。证据（cell-eval 代码，提交 6928967，2026-07-27）：对每个扰动，将其预测的相对对照变化量与评估集中所有扰动的真实变化量做 L1 距离比较（排除靶基因），得分为 1 − 排名/N。我们自己的分析（2025 年 H1 公开数据；验证集 50 个扰动、测试集 100 个扰动）：预测对照均值，或预测 150 个训练扰动均值的平均，PDS-L1 为 0.507–0.514；半数据分割的噪声上限为 0.96。把含噪副本的变化量乘以 0.1 / 0.5 / 1 / 2 / 4，PDS-L1 依次为 0.53 / 0.74 / 0.965 / 0.986 / 0.992，而 Pearson delta（0.74）和余弦 PDS（0.9996）不变，MAE 在 1× 之后由 0.0178 恶化到 0.0394 再到 0.093。我们的推理：把不确定的预测向均值收缩（可降低误差）的模型会被 PDS 惩罚，而放大预测的模型会被奖励直至饱和，因此 PDS 与 MAE 把模型往相反方向拉。这与 Arc 报告的参赛队发现 L1 PDS 对幅度敏感在定性上一致（VC0105；我们未读该队的评论文章）。确定性：数值对本重实现而言——中等（可复现，单一种子，使用含噪副本而非模型输出）；关于 2026 年参赛作品的任何陈述——低。 VC0105

A2 — 以基线归一化的得分在零处截断，因此没有任何参赛作品能超越基线的指标不携带排名信息。论断：这是对 Arc 所述“MAE 在 2025 年不再影响排行榜”的一种合理机制。证据（cell-eval `_score.py`）：误差类指标得分为 1 − user/base，有界指标为 (user − base)/(1 − base)；NaN 记为 0，取值截断于 0，最终得分取平均。我们自己的分析：在 MAE 上，对照均值（验证 0.0255 / 测试 0.0240）优于“扰动均值的平均”基线（0.0266 / 0.0250），连半数据分割的噪声上限（0.0176 / 0.0187）归一化后的 MAE 得分也只有 0.34 / 0.25，而 PDS-L1 在上限处为 0.93 / 0.92。因此在此数据上 MAE 至多贡献其名义权重的一部分；把基线由扰动均值换成对照均值或按细胞数加权的均值（0.0258 / 0.0242），MAE 得分会变动约 0.03–0.04。我们读到的来源没有说明挑战赛排行榜是否恰好使用此函数及何种基线；与 VC0105 的联系是我们的推断。确定性：对代码解读为中等，对其与排行榜的联系为低。 VC0105

A3 — 在约 18,000 个基因上，只设定一个基因就能使 Pearson delta 翻倍。论断：除非说明靶基因的处理方式，各参赛作品的 Pearson delta 不可比。证据（cell-eval 代码）：PDS 默认排除靶基因（`exclude_target_gene=True`），`pearson_delta` 不排除。我们自己的分析：把训练均值变化量加到对照上的预测器，仅将靶基因设为训练集的中位敲低水平（对照的 0.095 倍），Pearson delta 由 0.166 升至 0.395（验证集）、由 0.170 升至 0.378（测试集）；MAE 由 0.0263 变为 0.0262，PDS 不变。Pearson delta 是 2025 年全能奖排名的四项附加指标之一（VC0105）；2026 年评分组合用哪些指标，我们未读取。确定性：中等（自有计算，简单可复现；300 个靶基因均在 18,080 基因面板内）。 VC0105

A4 — 在 2025 年 H1 面板上，共享方向分量很小，因此不应把别处发现的基线强度套到这里。论断：按 VC0052 式的度量，该面板的系统性变异较低。我们自己的分析：每个扰动的变化量与 150 个训练扰动平均变化量之间的平均余弦为 0.17（验证）/ 0.17（测试）；在评估集内留一法为 0.13 / 0.16；沿训练平均变化量方向的部分仅占变化量平方范数的 5–6%。均值类预测器的 Pearson delta 为 0.15–0.17，PDS-L1 为 0.51，而噪声上限分别为 0.73–0.74 和 0.96。VC0052 在其自身处理流程（5,000 个高变基因加被扰动基因）下报告的平均余弦为 0.76（Adamson）、0.50（Norman）、0.32（Replogle K562）。二者不可直接比较（我们使用全部 18,080 个基因，噪声会使我们的余弦偏低）。这与 Arc 声明的设计意图一致，即面板挑选自响应多样的扰动（VC0002：从约 2,500 个扰动中按效应强度与多样性选出 300 个；VC0143 描述了 2026 年的筛选）。我们的推理：Arc 在 2025 年所说“模型尚未稳定超过朴素基线”（VC0105）因此需视基线与指标而定（我们发现 MAE 是较弱的那项），并不能证明此面板上存在强均值基线。确定性：低到中等。 VC0002 VC0143 VC0052 VC0105

B1 — 来源实际做了什么（已对照全文核查归属）。VC0048（Ahlmann-Eltze、Huber、Anders；Nature Methods 2025）：对双扰动（Norman，CRISPRa，K562），将五个基础模型和两个其他深度学习模型与“无变化”和“加和”基线比较；对未见单扰动（Replogle K562 与 RPE1，均为 CRISPRi；Adamson K562），与“均值”基线和线性模型比较；主要误差度量为表达最高的 1,000 个基因上的 L2 距离，Pearson delta 为次要指标。“均值”指训练扰动谱的均值。该文未分析系统性变异。其使用在另一 Replogle 细胞系上预训练的扰动嵌入的线性模型稳定优于所有其他模型，所以结论是深度模型未超过简单模型，而不是没有任何模型能超过。作者自述的局限：仅四个数据集、均为癌细胞系、未做敲低质量过滤，且其基线无法表示真实的生物学复杂性。VC0052（Viñas Torné 等；Nature Biotechnology 2025）：在十个数据集上，将三种方法（CPA、GEARS、scGPT）与“扰动均值”（所有被扰动训练细胞的平均）比较；使用全基因及前 20 个差异表达基因的 Pearson delta；系统性变异用单个扰动偏移与平均偏移的余弦度量。“系统性变异会抬高基于参照的得分”是 VC0052 的论断，而非 VC0048 的；本页早先草稿将二者混为一谈，现已更正。VC0105 是 Arc 自己的叙述；其中 PDS 对幅度敏感的分析被归于某参赛队，“PDS 权重约为 DES 两倍”出自第二名队伍自己的描述，二者我们均未独立核实。确定性：对“论文如此陈述”为高（已读 VC0048、VC0052 全文）；这不是对其正确性的判断。 VC0048 VC0052 VC0105

B2 — 结论在哪里冲突或依赖未明说的假设。（1）指标依赖性：VC0052 称其“抬高”机制影响 Pearson delta 等基于参照的指标，RMSE 未表现出对系统性变异的同样依赖；而 VC0048 的主要结果是在误差度量（L2）下得到的，简单基线仍然获胜。因此 VC0052 的机制不能完全解释 VC0048。我们的推理：误差类指标在均值类预测之上留出的空间很小，因为大部分误差是共享的表达水平与噪声；在 H1 上，噪声上限 MAE 为 0.0176，预测对照为 0.0255（验证集），约占 69%。（2）基线不是单一对象：VC0048 的均值对扰动等权，VC0052 的扰动均值对细胞加权，cell-eval 的基线构建器使用各扰动均值的平均。H1 训练集中每个扰动的细胞数从 33 到 4,760 不等；两种均值的变化量余弦为 0.92，MAE 为 0.0266 对 0.0258（验证）、0.0250 对 0.0242（测试）。（3）预先筛选：VC0052 仅保留 1,973 个效应强的 Replogle 扰动；VC0048 限制在所有模型都能预测的扰动上；2026 年数据筛选为靶基因中位敲低至少 80%（VC0143）。三者都默认结论可由经效应筛选的面板推广到未经筛选的面板。（4）共享响应是假象还是生物学：VC0052 自己把生物学原因（应激、细胞周期阻滞）列为系统性变异的来源，却把消除它（以被扰动质心为参照）视为分离“扰动特异”效应，同时说明基于参照的指标对效应强度不敏感、不适用于弱扰动。（5）两篇论文都没有检验在没有任何扰动数据的未见细胞系中的预测，而 2026 年任务正是如此（VC0107）。VC0048 提示两个细胞系之间的迁移对跨系相似的基因帮助更大，但仅基于一对细胞系。确定性：对各文所述为高；对我们的调和为低到中等（我们的推理）。 VC0048 VC0052 VC0143 VC0107

C — 各种说法需要满足什么条件才成立。（C1）“2026 年排名靠前的作品捕捉了扰动生物学。”需要：PDS 高于约 0.5 的“与扰动无关”水平，且在控制幅度后仍成立（范数匹配或余弦变体一致）；基于差异表达的指标高于常数基因集基线（我们未计算）；给出分项结果而非单一汇总；排除靶基因后仍稳健。（C2）“模型未超越朴素基线”（Arc 2025，VC0105）。需要：说明基线（按扰动加权、按细胞加权或对照）、与参赛作品相同的归一化、且所用指标尚未触及噪声上限；我们读到的内容均未说明，因此该说法目前无法检验。（C3）“深度模型未超越线性基线”（VC0048）。需要：在未经效应筛选的面板上仍成立，在与基线相当的调参预算下成立（作者将微调限制在三天内并使用默认参数），并在此处关键的设定——未见细胞系——中成立。（C4）“基线获胜是因为系统性变异”（VC0052）。需要：在对其稳健的指标下去除共享分量后基线成绩下降，与基于误差的结果相调和，且共享分量并非生物学来源；我们这一份 H1 面板共享方向低、均值预测较弱，与之相符，但无法检验 VC0052 在十个数据集间估计的关系。（C5）“2026 年得分高意味着模型能跨细胞情境迁移。”需要：三个留出细胞系各自的结果，由其他细胞系数据构建并明示的基线，并核查留出细胞系的响应是否已被公开训练数据覆盖。我们的计算与 C5 无关。确定性：通篇为我们的推理（条件，而非发现）。 VC0105 VC0048 VC0052 VC0107

什么会改变我们的看法。（a）对下列基线运行完整的 `cell-eval run --profile full`（我们未做；步骤见“不确定性”）：若常数预测器在 DE 重叠类指标上得分很高，则“与扰动无关≈0.5”的 PDS 图景并不适用于 DES。（b）Arc 公布 2026 年基线定义以及分指标、分细胞系结果：这将直接解决 C1、C2、C5；若最优作品在每项指标与每个留出细胞系上都胜过基线，我们的担忧会减弱，若仅在一项指标上胜出则会加强。（c）阅读 Team Outlier 关于 PDS 缩放的评论以及 BioMap、Altos 的方法：若其缩放的校准方式与我们含噪副本的演示不同，A1 需要修订。（d）对 2025 排行榜的独立再分析。（e）有证据表明 H1 或 2026 细胞系中的共享响应具有生物学意义且可预测：这会把共享分量从干扰项变为值得奖励的内容。阈值是我们的判断。以上都不会改变范围限制：仅涉及细胞系中的 CRISPRi 敲低，不涉及药物、原代细胞、组织或临床推断。 VC0105 VC0107

确定性小结（草案分级，GS-GRADE 轨 C：基准类声明）。A1–A4：对主办方工具某固定公开提交的代码解读（中等；排行榜可能运行了不同版本）加我们自己可复现的计算（数值为中等，涉及 2026 为低）。B1–B2：归属与方法取自 VC0048、VC0052 全文（对“其所述如此”为高）；VC0105、VC0002 为主办方撰写，VC0002 仅读到 Cell 观点文章图注的检索摘录。2026 年 Cell 论文（VC0058）仅核验了记录与摘要。C：条件，而非发现。标注“我们的推理”的内容是编辑判断。所引条目均非预印本。 VC0048 VC0052 VC0105 VC0002 VC0058

最后更新：2026-10-16（太平洋时间）。评论初稿，待审阅；2026 年最终结果与获胜方法公布后将重新审视。

证据图谱

原始研究与数据集

• VC0002 Virtual Cell Challenge: Toward a Turing test for the virtual cell. — Roohani YH et al., Cell, 2025
• VC0058 Virtual Cell Challenge 2026: Benchmarking zero-shot generalization across cellular contexts. — Arc Virtual Cell Initiative Team, Goodarzi H., Cell, 2026
• VC0107 Virtual Cell Challenge 2026 (zero-shot, 6 unseen cell lines) — Arc Institute, virtualcellchallenge.org, 2026
• VC0143 Generating high-quality Perturb-seq data for the 2026 Virtual Cell Challenge — Arc Institute, Arc news, 2026

扰动与验证证据

• VC0105 Virtual Cell Challenge 2025 Wrap-Up: Winners and Reflections — Arc Institute, Arc news, 2025
• VC0048 Deep-learning-based gene perturbation effect prediction does not yet outperform simple linear baselines. — Ahlmann-Eltze C, Huber W, Anders S., Nature methods, 2025
• VC0052 Systema: a framework for evaluating genetic perturbation response prediction beyond systematic variation. — Viñas Torné R, Wiatrak M, Piran Z, Fan S, Jiang L, Teichmann SA, Nitzan M, Brbić M., Nature biotechnology, 2025

本页引用文献库条目 7 条，其中预印本（未经同行评审）0 条。

本页涉及的实体

• CPA 模型
• CRISPR 干扰 方法与概念
• 单细胞基础模型 方法与概念
• GEARS 模型
• 简单线性基线 方法与概念
• Perturb-seq 方法与概念
• scGPT 模型
• 系统性差异 方法与概念
• 虚拟细胞挑战赛 方法与概念
• 零样本评估 方法与概念

方法与结果（本站自行分析）

这是 GlioState 对公开数据的探索性再分析，并非同行评审结论。输出文件：vcc_baseline/results.json · vcc_baseline/README.md（分析脚本本身未在本站发布）

数据、代码与局限

数据：Arc 虚拟细胞图谱公开的 2025 年 H1 hESC CRISPRi Perturb-seq（训练 150 个扰动 / 221,273 个细胞；验证 50 / 98,927；测试 100 / 170,846；18,080 个基因；对照为 non-targeting），2026-10-16 自公开存储桶下载，不再分发。代码：analysis/vcc_baseline/ 中我们的脚本（流式读取 CSR 矩阵，scanpy 默认归一化加 log1p，按靶基因取均值即伪批量，指标按 cell-eval 提交 6928967 重实现）。局限：伪批量重实现，非官方流程；未计算基于差异表达的指标；未评估任何模型；2025 年同一细胞系内任务；用各文件自身中位数归一化，未做 `cell-eval prep` 的基因过滤；半数据分割上限仅用一半细胞且未做 Spearman–Brown 校正；单一种子，无置信区间。这是我们自己的探索性分析，并非同行评审结论。 VC0143

表 1：cell-eval 指标下的简单预测器（伪批量）

表 2：幅度敏感性（含噪副本变化量 × 倍数，验证集）

表 3：共享方向与得分空间

尚不确定之处

我们的计算是在 2025 年同一细胞系内任务上对 cell-eval 指标的伪批量重实现。它不是官方的 `cell-eval run`，未计算任何差异表达指标（DES 对应指标、overlap/precision、AUC、方向一致性），也不涉及 2026 年零样本结果。建议的验证步骤：（1）`uv pip install cell-eval`；（2）从 2025 年公开存储桶下载 adata_Training.h5ad、adata_Validation.h5ad 和 pert_counts_Validation.csv；（3）`cell-eval baseline --adata adata_Training.h5ad --counts pert_counts_Validation.csv --pert-col target_gene --control-pert non-targeting --output-path baseline_pred.h5ad --num-threads 16`；（4）`cell-eval run -ap baseline_pred.h5ad -ar adata_Validation.h5ad --pert-col target_gene --control-pert non-targeting --profile full --ceiling --outdir out_base`；（5）用对照均值预测重复；（6）用 `cell-eval score` 比较 `agg_results.csv`。对约 99,000 个细胞做差异表达的内存是实际限制（我们未尝试）。

2026 年六项指标组合、其权重及 Arc 将使用的基线我们未能读取（挑战赛网站无法被我们的抓取工具渲染）。A1–A3 中关于“挑战赛指标”的陈述依据 cell-eval 代码库（其 `vcc` 配置列出 MAE、L1 判别得分和 overlap-at-N；overlap-at-N 对应 DES 是我们的推断）及 2025 年总结。 VC0105 VC0107

参赛队关于 PDS 缩放的评论（arXiv）、BioMap、XLearning、Outlier、Altos 的方法，以及 2026 年 Cell 论文（VC0058）全文均未读。文献库中没有对数据集或评分的独立评估。 VC0105 VC0058

半数据分割上限和幅度演示仅用单一随机种子，扰动数为 50 与 100，无置信区间。系统性变异的余弦使用全部 18,080 个基因，会因噪声而偏低。

我们关于指标行为与基线的判断来自对代码、自有计算以及另外两篇基于其他数据集的论文的推理；它们不是关于 2026 年参赛作品的发现，也可能有误。 VC0048 VC0052

相关问题

• 虚拟细胞模型如何验证？
• 深度学习模型在扰动预测上能超过线性基线吗？
• 当论文报告均值或线性基线可与深度模型比肩时，它们比较的是同一对象、同一指标、同一类扰动吗？
• 哪些机制会使与扰动无关的预测器看起来不错（共享响应、噪声、靶基因、指标），各论文实际检验了哪些？