A Zeroth-Order Paradigm for LLM Preference Alignment

• 类型：arxiv
• 标识：2609.19144
• 链接：https://arxiv.org/abs/2609.19144
• 主分类：risk
• 形态：method
• 被引：0
• 被引来源：Semantic Scholar + OpenAlex
• S2被引：0
• OpenAlex被引：0
• 影响力被引：0
• TLDR：This paper proposes and analyzes Comparison-based Preference Optimization (ComPO), a zeroth-order alignment method based on comparison oracles, and establishes a convergence guarantee for its basic offline scheme under smoothness, gradient sparsity, and compatibility between the oracle and a latent objective.
• OpenAlex ID：W7213531526
• OpenAlex DOI：10.48550/arxiv.2609.19144
• DOI：10.48550/arxiv.2609.19144
• DOI来源：OpenAlex
• 开放获取：green
• 开放获取链接：https://arxiv.org/pdf/2609.19144
• OpenAlex更新：2026-09-20
• 待LLM分类：否
• 标题中文：一种面向 LLM 偏好对齐的零阶范式
• TLDR中文：本文提出并分析 Comparison-based Preference Optimization (ComPO)，一种基于比较预言机 (oracle) 的零阶对齐方法，并在光滑性、梯度稀疏性以及 oracle 与潜在目标相容的条件下，为其基础离线方案建立了收敛性保证。
• 来源文件：
• /inbox/tom/_candidates/2026-09-17-agent-rag-longcontext-candidates.json
• [S2 enrich]
• [OpenAlex backfill]