Cultivar: A Contrastive and Locale-Oriented Translation Benchmark for Investigating Contamination and Localisation Robustness

• 类型：arxiv
• 标识：2608.09766
• 链接：https://arxiv.org/abs/2608.09766
• 主分类：evaluation
• 形态：benchmark
• 被引：0
• 被引来源：Semantic Scholar
• S2被引：0
• 影响力被引：0
• TLDR：This work advocates for source-contrastive evaluation and instantiates Cultivar, a localised subset of FLORES, which enables locale-specific translation evaluation and finds that MT-specialised models are less robust, a few models potentially overfit FLORES, and models tend to translate US content better than that of other locales, regardless of language.
• 待LLM分类：否
• 标题中文：Cultivar：用于调查数据污染与本地化鲁棒性的对比式、面向区域的翻译基准
• TLDR中文：本文倡导源对比评估，并构建了 Cultivar——FLORES 的本地化子集，可用于特定 locale 的翻译评估；研究发现：MT 专用模型鲁棒性较差，少数模型可能对 FLORES 存在过拟合，且模型普遍更擅长翻译美国 locale 的内容，而非其他 locale，无论语种如何。
• 来源文件：
• /inbox/tom/_candidates/2026-08-12-agent-rag-longcontext-candidates.json
• [S2 enrich]