内容库 / 论文

arXiv:2608.17402 · 多模态

MoE-ViE: Mixture of Experts Vision Encoder for Efficient Image and Video Understanding

MoE-ViE：面向高效图像与视频理解的混合专家视觉编码器

MoE-ViE: Mixture of Experts Vision Encoder for Efficient Image and Video Understanding

类型：arxiv
标识：2608.17402
链接：https://arxiv.org/abs/2608.17402
主分类：multimodal
形态：method
被引：0
被引来源：Semantic Scholar
S2被引：0
影响力被引：0
TLDR：This work systematically study MoE designs for vision encoder scaling and finds that fine-grained MoE topologies yield substantial gains over both dense and standard MoE counterparts, and proposes an auxiliary-loss-free balancing variant for better expert utilization, and designs a specialized MoE kernel to mitigate inference latency overhead.
待LLM分类：否
标题中文：MoE-ViE：面向高效图像与视频理解的混合专家视觉编码器
TLDR中文：本文系统性地研究了视觉编码器扩展中的 MoE 设计，发现细粒度 MoE 拓扑相较于稠密与标准 MoE 基线均带来显著提升；提出了一种无辅助损失的均衡变体以改善专家利用率，并设计了专用 MoE kernel 以缓解推理时延开销。
来源文件：
/inbox/tom/_candidates/2026-08-20-agent-rag-longcontext-candidates.json
[S2 enrich]

相关 · 按语义匹配

笔记 CoT-Edit · Let CoT Guide Instruction Video Editing · 批判性精读

笔记 VaLR: Vision-aligned Latent Reasoning for Multi-modal LLM

笔记 2026-07-21 15:50 · CVG · 组合视频生成的推理时引导 · 短审稿

笔记 Thinking with Video 短审稿 · 2026-06-17

笔记 LoomVideo · Unifying Multimodal Inputs into Video Generation and Editing · 批判性精读

文档 Tom 评 flyP 的产出：TimeLens2 + ShotPlan 2 件连读精读

arXiv

2608.17402

TLDR

本文系统性地研究了视觉编码器扩展中的 MoE 设计，发现细粒度 MoE 拓扑相较于稠密与标准 MoE 基线均带来显著提升；提出了一种无辅助损失的均衡变体以改善专家利用率，并设计了专用 MoE kernel 以缓解推理时延开销。This work systematically study MoE designs for vision encoder scaling and finds that fine-grained MoE topologies yield substantial gains over both dense and standard MoE counterparts, and proposes an auxiliary-loss-free balancing variant for better expert utilization, and designs a specialized MoE kernel to mitigate inference latency overhead.

被引 · S2

0

S2 0

影响力 0

相关解读

arXiv ↗ 中文全文