Cool Papers · cs.CL (papers.cool) · RSS 摘要

信源：Cool Papers · cs.CL (papers.cool) · https://papers.cool/arxiv/cs.CL/feed

• Objective vs. Search：拆解一个好的 Tokeniser 的构成要素 — 现代语言模型主要使用两种 tokenisation 算法：BPE 与 UnigramLM。它们沿两条正交轴存在差异：优化目标……
• 一种用于 LLM 偏好对齐的零阶范式 — 直接偏好对齐方法因其计算与显存效率而被广泛用于将 LLM 与人类偏好对齐。然而，与……
• ScienceIDE：将全球科学代码库转化为 Agent 可学习的环境 — 科学代码仓库以可执行模型、方法与工具的形式编码了数十年的人类知识。然而，碎片化的工具链、隐式的领域约定以及专业化的代码……
• 在 Wikipedia 摘要上玩 log(N)-Questions 游戏：配对前沿模型之间的通信效率 — 我们在双 Agent 的 $\log(N)$-Questions 游戏上评估了六个前沿语言模型。出题者看到 $N$ 段 Wikipedia 导言段落，须通过……
• 在 LLM 评估过程中利用内部表征监控与发现 Reward Hacking — 随着模型规模扩大，reward hacking 变得更加频繁、复杂且后果严重。它是否会在模型表征中留下可识别的信号？本文分析……