Big Bird: Transformers for Longer Sequences

• 类型：arxiv
• 标识：2007.14062
• 链接：https://arxiv.org/abs/2007.14062
• 主题：database
• 主分类：llm-infra
• 形态：method
• 被引：3037
• 被引来源：Semantic Scholar
• S2被引：3037
• OpenAlex被引：272
• 影响力被引：323
• TLDR：It is shown that BigBird is a universal approximator of sequence functions and is Turing complete, thereby preserving these properties of the quadratic, full attention model.
• OpenAlex ID：W3045733172
• OpenAlex DOI：10.48550/arxiv.2007.14062
• DOI：10.48550/arxiv.2007.14062
• DOI来源：OpenAlex
• 开放获取：green
• 开放获取链接：https://arxiv.org/pdf/2007.14062
• OpenAlex更新：2026-08-19
• 待LLM分类：否
• 成熟度：production
• 场景：long-sequences、transformer、attention
• 标题中文：Big Bird: 用于更长序列的 Transformer
• TLDR中文：研究表明 BigBird 是序列函数的通用逼近器，且具备图灵完备性，从而保留了二次全注意力模型的这些性质。
• 来源文件：
• [OpenAlex discover]
• [S2 enrich]