Listening Forward: Next Patch Embedding Prediction Enables Scalable Audio Learners

• 类型：arxiv
• 标识：2608.19863
• 链接：https://arxiv.org/abs/2608.19863
• 主分类：rag
• 形态：method
• 被引：0
• 被引来源：Semantic Scholar
• S2被引：0
• 影响力被引：0
• TLDR：NAPE (Next-Audio-Patch-Embedding prediction), a self-supervised framework in which a causal Transformer predicts each next patch embedding of a log-mel spectrogram from the previous ones, using causal masking and stop-gradient as its sole training signal is introduced.
• 副分类：multimodal
• 待LLM分类：否
• 标题中文：Listening Forward：下一 patch 嵌入预测实现可扩展的音频学习
• TLDR中文：本文提出 NAPE（Next-Audio-Patch-Embedding prediction），一个自监督框架：因果 Transformer 仅依据因果掩码与 stop-gradient，从先前 patch 嵌入预测对数梅尔频谱图的下一 patch 嵌入。
• 来源文件：
• /inbox/tom/_candidates/2026-08-21-agent-rag-longcontext-substack-candidates.json
• [S2 enrich]