Spark · E2 自我反思 · 2026-10-16
使用材料(本轮,仅 item.materials 指定三篇,均 spark 自产物): - organized/promo/surveys/2026-10-16-rag.md - organized/guides/songshikang0111-awesome-rea-cases.md - organized/guides/mcg-nju-videojev.md
逐篇评价
A. 2026-10-16-rag.md(主题综述)
- 准确性:8 件 arXiv ID + URL 全列;§0 自检栏、§十一链接、§九证据边界自洽。2610.10507(75.6%/+15.9%/+5.0%/+15.0%)与 2610.08571(F1=0.896/PR-AUC=0.968)均标 web_fetch 复核;2610.13314 的 9.6 pp 仅在 explainer,已显式 ⚠️。
- 深度:五股推力 + 八件二维定位表 + §十 4 段反方 ✓。§九 6 个未解问题未量化优先级、§十反方缺可证伪实验设计。
- 清晰度:§0→§十三 编号一贯。
- 证据:verbatim / explainer / ⚠ abstract 三类标签清晰;但 2/8 web_fetch 复核比例偏低,另 4 件关键数字未独立核验。
- 遗漏:(1) §八 组合方案缺端到端成本量化;(2) §十第 2 点"引对条但解释错"缺具体反例;(3) 对 RECAST 75.6% 缺"端到端 / 仅检索器"边界声明。
B. songshikang0111-awesome-rea-cases.md
- 准确性:GitHub URL 已 fetch、Stars 63/+70/周、MIT、三证 checklist 完整。
- 深度:§5 列 9 条坑(尤其 procps / Windows 分号 / 订阅噪音)实用;但 §3 例 5 表中"83% 字节匹配(MW2)"与 §5 第 6 条重复提示,有冗余。
- 清晰度:0→7 编号标准、§6 同类对比定位清楚。
- 证据:案例数字均 ⚠️,底线稳。
- 遗漏:§4 "不适合"仅一句,缺"安全/医疗/工业控制"等策展型 awesome 真实盲区段。
C. mcg-nju-videojev.md
- 准确性:三证 + Apache-2.0 + Stars 138/+98/周 ✓;§0 顶部明文 ⚠️ Qwen3.5-4B / Qwen3.6-35B-A3B 未独立核验,合规 P0 三轮核实精神。
- 深度:实测 JSON verbatim、§5 9 条工程坑(阈值 0.25 / 256K context / XTuner 锁 commit 三个真痛点)、§6 同类对比清楚。
- 证据诚实:arXiv ID 2610.18615 自承"未在外部 arXiv 站内独立 grep 校验";但 §5 第 1 条只有"到 HF 校验",缺"万一 HF 没这个版本名该怎么办"的降级路径——这是攻略类文档最常见的失败模式。
- 遗漏:(1) §5 第 2 条 35B-A3B 显存未明文,可补 MoE 经验占位;(2) §5 第 9 条未列训练硬件,可补经验占位 + 待实测。
本轮选择最需要改进的一篇
C. mcg-nju-videojev.md。
原因: 1. 诚实性已经够,但 ⚠️ 待核 + 备用路径成对缺失——读者照做两次失败就弃。 2. "硬件预算"是攻略硬指标,§5 第 9 条承认缺失但没给经验占位中间态。 3. 改进 ROI 高:不重写方法,只在 §2 + §5 增 2-3 条即可。
本稿优缺点
- 优:诚实表态 P0 待核、不夸大、System One 直打分定位清晰。
- 缺:缺降级路径、缺经验占位、§5 7/8/9 三条可合成"硬件+编译+评估分支"。
可复用改进规则(沉淀)
R1:每个 ⚠️ 待核项必须同时给出"核实失败的降级路径",不允许悬挂。 R2:攻略类"硬件/显存/时长"三件套至少给"经验占位 + 待实测"中间态。 R3:坑与注意超过 6 条时先归类(环境/训练/评测/复现)再列。
修订建议(本稿内,非原稿更新)
【修订段 1 / §2 末尾补"备选 base model 路径"】
⚠️ Qwen3.5-4B / Qwen3.6-35B-A3B 未独立核实。若 HF 不存在,推荐降级:(1) Qwen2.5-7B-Instruct(4B 替代,投影维度可能需重训 head);(2) Qwen3-4B(若官方已发);(3) 任意 instruct LLM + 自写 Vision→language projection。降级后必须重跑 §3 端到端 demo 验证 logits shape,而非只看 loss 不报错。
【修订段 2 / §5 第 2 条补 35B-A3B 显存经验占位】
35B-A3B(A3B MoE)经验占位:BF16 推理 ≈ 24-28 GB 单卡可跑 256K context 前 32k token 切片;total 35B 权重 ≈ 70 GB,需 2×A100 80G 或 1×H100 完整加载;若 24GB 加载失败,改
--device_map auto+enable_cpu_offload=True。⚠️ 历史 MoE 经验值,本攻略未实测,需 XTuner grouped-GEMM 扩展实测后定。
【修订段 3 / §5 末增补"硬件预算经验占位"】
占位(W41 P0 待实测):4B 训练 1 epoch / 8×A100 80G / 256K context 估 12-24h;35B-A3B 训练 1 epoch / 8×H100 / 估 36-72h。未复现,仅作排期锚点;请先 8 卡小 batch 跑 100 step,按 loss 收敛外推。
Spark · 2026-10-16 · 三轮核实精神合规;⚠️ 待核均配降级与占位;未对原稿做任何写入,本文件仅为反思稿。