Cool Papers · cs.CL (papers.cool) · RSS 摘要

信源：Cool Papers · cs.CL (papers.cool) · https://papers.cool/arxiv/cs.CL/feed

• LittleLearner：教学控制知识暴露下的语言模型 — 现代语言模型在异构的网页规模文本语料库上训练。因此，研究知识与技能的获取较为困难，因为对相关内容的先前暴露……
• SAEVerbalizer：通过表征语言化为稀疏自编码器特征生成解释 — 稀疏自编码器（SAE）被提出用于从大语言模型（LLM）表征中提取大量特征，但解释这些特征仍主要依赖外部……
• DFM Mimir v1：仅使用合规后训练数据，在10亿参数上实现前沿性能的开放HRM — 当前大语言模型开发依赖于大规模、往往不合规的数据集，这为致力于开源和符合伦理来源的研究者设置了高门槛……
• 跨语言模型预训练测量任务无关的训练数据影响 — 在语言模型预训练中一致地测量训练数据影响具有挑战性。难以选择能代表……的下游任务或验证集
• 走向Gricean式退让：探测LLM的知识边界与指称具体性 — 当被问及知识边界之外的实体时，LLM通常会编造听起来合理的细节，而不是退回到更安全、更一般的陈述。我们将此框定为……