jay 自测日记录 · 2026-11-05
总分：41/50
知识盲区：①「cost_effective / agentic + version:"latest" 才走 OCRia-1」只记结论，讲不清为什么自定义 prompt 会改换底座——材料只说「带 custom_prompt 的作业会走通用模型」，未给出机制；我的推断是 OCRia-1 是无 prompt 条件的固定解析模型，自定义 prompt 等于要求改变模型行为，超出其训练分布，故回退通用模型；讲不出这层，就只能把这句当黑箱规则记；②「ParseBench 自家基准」只记「是自建的」，讲不清它与「第三方基准」的证据强度差到底体现在哪个量上——材料给的分差本身就有分层：总分 +12.1（自家榜）vs 第三方表格类 +0.8~+1.7（olmOCR-bench / PulseBench-Tab）vs fr-bench-pdf2md +0.7（第三方总分），即表格与格式维度是强项（+2.3 / +19.0 / +15.5 均在自家榜），总分优势主要来自自选的长板维度，而真正第三方第三方总分只领先 0.7；我此前只说「弱于第三方」，没把「0.7 分」这个近乎噪声的第三方总分领先讲透，导致容易高估其实际领先幅度；③「Cost Optimizer 逐页路由」只记「按页路由」，讲不清它与固定档位在计费上的差别——它让简单页按 cost_effective 计费，故同一文档内不同页实际走不同模型，输出的页间一致性（同一术语/表头在难页与易页被不同模型解析时是否统一）成为一个未被材料覆盖的风险点；④「fast 档不跑 AI 模型」只当功能清单记，讲不清这条限制带来的不只是少能力，而是少一层确定性与少一条缓存/版本语义——fast 档无 AI 模型，故其输出不随 version 变化，pin version 对 fast 档无意义，而材料把「pin 版本」作为通用生产建议，未区分这一边界。
- 来源论文：arXiv 2604.08538 — ParseBench（LlamaIndex 自建文档解析基准；论文页 https://arxiv.org/abs/2604.08538；本轮材料为检索整理稿）
- 被使用文件：
organized/guides/x-tip-2117417321308545290.md
题目一（四档 tier · 选型判据与被排除的能力）
问：LlamaParse 的四档 tier 分别适合什么文档？选择 fast 档会失去哪些能力？为什么「混合复杂度文档」不该硬选单档？
答：四档与判据：fast（纯文本、单栏、无表格，只要文本或保布局的空间文本）、cost_effective（以文字为主、表格简单，要干净 markdown 且压成本）、agentic（扫描页、多栏排版、真实表格、内嵌图表）、agentic_plus（密集财报、复杂表格、图表示意图、精度攸关，默认开启 specialized chart parsing）。
fast 档失去的能力：不跑 AI 模型，故不支持自定义 prompt、不支持 processing_options.forms、不抽取图表数据；需要图表数据至少要 cost_effective。
混合复杂度：用 agentic / agentic_plus 开 Cost Optimizer，它逐页路由到合适档位，简单页按 cost_effective 计费，从而在精度与成本间取得逐页粒度的平衡。
（我的推断） fast 与 cost_effective 之间还有一个材料未明说的分界：fast 是「空间文本」输出（保留布局），cost_effective 起才产干净 markdown——两者的输出形态不同，不是同一形态的快慢两档，故从 fast 迁到 cost_effective 属于换输出格式而非单纯升级。
评分：8/10
扣分：四档判据、fast 的三项缺失、Cost Optimizer 的逐页与计费方式答到；扣在没点出「fast 不跑 AI 模型」这条限制的连带影响——它意味着 fast 档的输出不受 version 影响，故材料「生产锁版本」这条建议对 fast 档形同虚设；也没点出agentic_plus 是否以 OCRia-1 为底座官方未写明这一档位本身的不确定性（材料明确标注），这直接关系到「四档是否都在同一模型上」这个更根本的问题。
题目二（OCRia-1 走向哪些档 · custom_prompt 为何改变底座）
问：材料说 Parse 跑在 OCRia-1 上，具体哪些组合走 OCRia-1？为什么「带自定义 prompt」就意味着不走 OCRia-1？agentic_plus 的底座状态如何？
答：走 OCRia-1 的组合：cost_effective 与 agentic，且 version 取 "latest"。
带自定义 prompt 的后果：材料明确「带 agentic_options.custom_prompt 的作业会走通用模型」，所以想用 OCRia-1 就把 prompt 留空。
（我的推断） 机制层面的解释材料没给，我只能按常理补：OCRia-1 是一个固定行为的专用解析 VLM（4B 参数，训练数据是 10 万+ 文档页 + SFT + RLVR），它不是指令跟随型的通用模型；custom_prompt 要求按用户给定的额外指令改变输出行为，这超出了它的训练分布，故系统退回通用模型来承接。
agentic_plus 底座：官方文档未写明——这是材料标注的空白，不能替它补。
评分：8/10
扣分：走/不走的两条规则、agentic_plus 未写明答到；扣在自曝这题材料支撑不足（custom_prompt 换底座的原因材料只有结果没有机制，我补的「超出训练分布」是推断而非引用）；也没指出 version 与 tier 的耦合——只有 version:"latest" 才必然指向 OCRia-1，pin 到具体日期（如 2026-01-08）时走哪个模型是未定义项，故「用 OCRia-1」与「锁版本」这两条生产建议在材料里部分互斥。
题目三（ParseBench 成绩 · 自家基准与第三方基准的分层证据）
问：材料列了 ParseBench 各维度成绩。它的证据强度应该怎么分层？为什么说「总分的 +12.1」不能直接当成技术领先幅度？
答：分层：①ParseBench（LlamaIndex 自家基准）：总分 87.4 vs 次优 LightOnOCR-3-4B 75.3，+12.1；表格 91.5 vs Chandra-OCR-2 89.2（+2.3）；图表 85.1 vs 66.1（+19.0）；格式 83.4 vs Surya OCR 2 (0.7B) 67.9（+15.5）。②第三方基准：olmOCR-bench 表格 92.9 vs 92.1（+0.8）；PulseBench-Tab（1,820 张表）84.1 vs 82.4（+1.7）；fr-bench-pdf2md 总分 72.1 vs 71.4（+0.7）。
为何不能直接用 +12.1：ParseBench 是 LlamaIndex 自家基准（数据集与评测代码都是其发布的），在自家榜夺冠的证据强度弱于第三方基准；且 +12.1 是在自家选定的维度上取得的，其中图表（+19.0）、格式（+15.5）这两个大项恰恰是它自认的强项，且对手是 4B 小模型或 0.7B 更小模型（Surya OCR 2 (0.7B)）——部分对比是同模型不同参数量的横向比较，不构成同等条件对比。
真正的第三方读数：表格类第三方基准领先幅度只有 +0.8 ~ +1.7，第三方总分（fr-bench-pdf2md）只领先 +0.7。
评分：9/10 扣分：分层数据、各幅度答到；扣在没把「第三方总分只领先 0.7」这一条明确提为结论级判断——0.7 分在缺少单次运行方差的情况下很难与噪声区分，所以其真实领先幅度应按「接近持平」来读，而非按「领先」；也没提olmOCR-bench 数字经过官方按 1,288px 统一渲染做过调整，故不能与各项目自报数据对齐（这使第三方读数本身也不完全可比）。
题目四（版本 pin 机制 · latest 的代价与缓存计费）
问：材料建议生产环境把 version 填成具体发布日期。这条建议解决了什么问题？它有什么代价和限制？latest 到底指向什么？
答：解决的问题：解析行为可复现。version 填具体发布日期（只接受真实存在的日期，编造会报错）后，解析行为被锁定；旧版本不��下架，可自行决定升级或回滚。
latest 指向什么：不确定——Parse 大约每月发布一次新档位版本，latest 具体指向哪一版以 API 响应里的 metadata.version 为准。
限制与代价：①要 pin 就必须定期决定是否升级，版本策略成为运维项；②Parse 大约每月一个新版本，若想跟进能力需主动换版本号；③latest 与「一定走 OCRia-1」绑定（见题二），故不 pin 就等于把「底座是谁」也一起交给云端调度。
（材料中的计费事实） Parse 按页数消耗 credit，档位越高越贵；48 小时内重复解析同一文件走缓存不额外计费，生产环境务必开启默认缓存并 pin 版本。
评分：8/10 扣分：可复现性、latest 不确定、缓存与按页计费答到；扣在没指出「pin 版本」与「缓存不额外计费」这两条在实操上会打架——若生产 pin 住旧版本、而缓存只在 48 小时内有效，那么「同一文件反复解析」在超过 48h 后会重新按页计费，故重复解析同一文档的成本并不为零，这会影响选档时「用 agentic 兜底」的可行性；也没说清旧版本不下架这一条的运维含义（版本策略是「可选升级」而非「强制淘汰」，故可安全地长期停在某一版）。
题目五（能力边界 · 权重、自托管与原帖未核实项）
问：材料标出了哪些「结论用不了」的地方？如果想在自己集群上跑同样的模型，当前可行吗？
答：能力边界：①OCRia-1 权重没有公开下载链接——官方博客只讲能力与成绩，未提供权重开源，故想在自有集群跑同一模型，目前只能走 LlamaCloud（或用 LiteParse，但它不用 VLM，是另一条能力路径，不等价）；②本地路径只有 LiteParse（Rust、Apache-2.0、无 VLM 的本地高速开源解析器）。
原帖未能核实项（材料明确不引用）：「Extract v2.6」的版本号与「Extract 最准确提取系统」的说法；ParseBench 的「150+ 模型 / 30k+ 月下载」——在 parsebench.ai 与官方文档中未找到对应表述，故这两个数字不可引用。
其它限制：fast 档能力受限；基准分数 ≠ 生产效果；「世界最佳」是官方营销口径；数据要出本地（合规敏感场景须先评估数据处理协议）。
评分：8/10 扣分：权重未开源、LiteParse 非等价、原帖两项未核实答到；扣在没点出「LiteParse 不是 OCRia-1 的平替」这一点该材料虽提了但易被滑过——它「不用 VLM」，故在扫描页、多栏、真实表格、图表上大概率不具同一能力面，把它当作「本地化替代 OCRia-1」是能力错配；也没说明成本敏感度这条限制的结构性来源（按页 credit × 档位单价），故成本估算必须按「页数 × 档位」算而非按文件算。
总评
总分：41/50（较 11-04 的 38 分 +3）
强弱：最强在证据分层（题三 9、题四 8、题五 8）——能把自家榜与第三方榜的数字摆进同一张表，并识别出「第三方总分只领先 0.7」这条最该被读作「接近持平」的读数；也能把原帖未核实项与官方已核实项分开处理。最弱在机制追问（题一 8、题二 8）——两题都在材料的结论层停住，custom_prompt 换底座的原因、fast 档缺能力的连带影响，都需要我自己接上机制，而这一步仍是靠推断完成。
同构：连续第十二日同形，但本轮首次出现「跨来源证据分层」这一新动作——11-04 的同设定消融 vs 跨方法对比、11-03 的已核查/二手转引/仅线索三档，本轮把同一批数据按基准归属再切一层（自家榜 +12.1 / 第三方 +0.8~+1.7 / 第三方总分 +0.7），三条连续三日同向。进步处是题三主动收窄了结论——把领先幅度按「0.7 分不可与噪声区分」来读，这比以往只贴「弱于第三方基准」更硬。仍欠的接缝有两处：一是「fast 档不跑 AI 模型」→「fast 档的 pin version 无意义」，二是「按页 credit + 48h 缓存」→「重复解析并不免费」，两处都是同一条材料内的事实之间的乘除关系，我只把它们并列陈述而没有相乘。