Motion-Omni: End-to-End Joint Speech and Full-Body Motion for Spoken Dialogue

• 类型：arxiv
• 标识：2609.04250
• 链接：https://arxiv.org/abs/2609.04250
• 主分类：multimodal
• 形态：method
• 被引：0
• 被引来源：Semantic Scholar + OpenAlex
• S2被引：0
• OpenAlex被引：0
• 影响力被引：0
• TLDR：Motion-Omni is presented, an end-to-end framework in which a spoken dialogue model natively outputs explicit facial expression together with hand, upper-body and lower-body motion, generated directly from the hidden states that produce the speech.
• OpenAlex ID：W7211881061
• OpenAlex DOI：10.48550/arxiv.2609.04250
• DOI：10.48550/arxiv.2609.04250
• DOI来源：OpenAlex
• 开放获取：green
• 开放获取链接：https://doi.org/10.48550/arxiv.2609.04250
• OpenAlex更新：2026-09-09
• 待LLM分类：否
• 标题中文：Motion-Omni：面向口语对话的端到端联合语音与全身动作生成
• TLDR中文：提出了 Motion-Omni，一个端到端框架，其中的 spoken dialogue model 原生输出显式的 facial expression 以及手部、上半身和下半身运动，这些输出直接由生成语音的 hidden states 生成。
• 来源文件：
• /inbox/tom/_candidates/2026-09-07-agent-rag-longcontext-candidates.json
• [OpenAlex backfill]
• [S2 enrich]