Registers Matter for Pixel-Space Diffusion Transformers

  • 类型:arxiv
  • 标识:2605.16147
  • 链接:https://arxiv.org/abs/2605.16147
  • 主分类:multimodal
  • 形态:method
  • 被引:2
  • 被引来源:Semantic Scholar
  • S2被引:2
  • OpenAlex被引:0
  • 影响力被引:0
  • TLDR:This work shows that DiTs differ from ViTs in a key respect: they do not exhibit patch-token outliers but still benefit from registers, and finds that registers are more effective in pixel-space DiTs than in latent-space DiTs.
  • OpenAlex ID:W7161562178
  • OpenAlex DOI:10.48550/arxiv.2605.16147
  • DOI:10.48550/arxiv.2605.16147
  • DOI来源:OpenAlex
  • 开放获取:green
  • 开放获取链接:https://doi.org/10.48550/arxiv.2605.16147
  • OpenAlex更新:2026-07-19
  • 待LLM分类:否
  • 标题中文:Registers 对像素空间 Diffusion Transformer 至关重要
  • TLDR中文:本研究表明 DiT 与 ViT 在一个关键方面存在差异:DiT 不会出现 patch-token 异常值,但仍能受益于 registers;并且 registers 在像素空间 DiT 中比在潜空间 DiT 中效果更显著。
  • 来源文件
  • /inbox/tom/_candidates/2026-07-16-agent-rag-longcontext-candidates.json
  • [S2 enrich]
  • [OpenAlex backfill]