Cool Papers · cs.CL (papers.cool) · RSS 摘要

信源：Cool Papers · cs.CL (papers.cool) · https://papers.cool/arxiv/cs.CL/feed

• LittleLearner：教学受控知识暴露下的语言模型 — 现代语言模型在异构的 web 规模文本语料上训练。因此，研究知识与技能的习得十分困难，因为模型可能对相关内容已有先验接触……
• SAEVerbalizer：通过表征语言化生成稀疏自编码器特征的解释 — 稀疏自编码器（SAEs）被提出用于从大语言模型（LLM）表征中提取大量特征，但对这些特征的解释仍主要依赖外部……
• DFM Mimir v1：仅使用合规后训练数据，在 1B 参数规模下达到前沿性能的开放 HRM — 当前大语言模型开发依赖大规模、往往不合规的数据集，为致力于开源与道德数据来源的研究者设置了很高的门槛……
• 在语言模型预训练中测量与任务无关的训练数据影响 — 在语言模型预训练中一致地衡量训练数据影响具有挑战性。难以选择能代表……的下游任务或验证集……
• 迈向 Grice 式退让：探查 LLM 的知识边界与指称具体性 — 当被问及知识边界之外的实体时，LLM 经常编造听起来合理的细节，而非退守到更安全、更一般的陈述。我们将这一现象框架化为……