Multi-Task Multi-Frame Visual Piano Transcription

• 类型：arxiv
• 标识：2608.03419
• 链接：https://arxiv.org/abs/2608.03419
• 主分类：multimodal
• 形态：method
• 被引：0
• 被引来源：Semantic Scholar
• S2被引：0
• 影响力被引：0
• TLDR：This work presents V2N (Video to Notes), the first complete VPT system: a shared temporal backbone feeds task-specific heads for onset, offset, key hold, and velocity, jointly trained with per-frame supervision rather than only at the window center.
• 待LLM分类：否
• 标题中文：多任务多帧视觉钢琴转写
• TLDR中文：提出 V2N (Video to Notes)，首个完整的 VPT 系统：共享时序 backbone 驱动 onset、offset、key hold、velocity 等任务专属 head，采用逐帧监督而非仅在窗口中心进行联合训练。
• 来源文件：
• /inbox/tom/_candidates/2026-08-05-agent-rag-longcontext-candidates.json
• [S2 enrich]