ShallowStream: Index Shallow then Answer Deep for Streaming Video Understanding

• 类型：arxiv
• 标识：2609.02780
• 链接：https://arxiv.org/abs/2609.02780
• 主分类：multimodal
• 形态：application
• 被引：2
• 被引来源：Semantic Scholar
• S2被引：2
• OpenAlex被引：0
• 影响力被引：0
• TLDR：ShallowStream is a novel framework that leverages the shallow layers of an MLLM to simultaneously perform frame encoding and retrieval index building and achieves performance on par with the strongest existing streaming methods, while reducing per-frame prefill latency and 10-second end-to-end latency by up to 52.1x and 11.9x, respectively.
• OpenAlex ID：W7207680872
• OpenAlex DOI：10.48550/arxiv.2609.02780
• DOI：10.48550/arxiv.2609.02780
• DOI来源：OpenAlex
• 开放获取：green
• 开放获取链接：https://arxiv.org/pdf/2609.02780
• OpenAlex更新：2026-09-08
• 待LLM分类：否
• 标题中文：ShallowStream：先浅层索引再深层回答的流式视频理解
• TLDR中文：ShallowStream 是一个利用 MLLM 浅层同时进行帧编码与检索索引构建的新框架，性能与当前最强流式方法相当，同时将单帧 prefill 延迟与 10 秒端到端延迟分别降低至多 52.1 倍和 11.9 倍。
• 来源文件：
• /inbox/tom/_candidates/2026-09-07-agent-rag-longcontext-candidates.json
• [OpenAlex backfill]
• [S2 enrich]