Beyond the Imitation Game: Quantifying and extrapolating the capabilities of language models

• 类型：arxiv
• 标识：2206.04615
• 链接：https://arxiv.org/abs/2206.04615
• 主题：multimodal
• 主分类：evaluation
• 形态：benchmark
• 被引：2608
• 被引来源：Semantic Scholar
• S2被引：2608
• OpenAlex被引：551
• 影响力被引：189
• TLDR：Evaluation of OpenAI's GPT models, Google-internal dense transformer architectures, and Switch-style sparse transformers on BIG-bench, across model sizes spanning millions to hundreds of billions of parameters finds that model performance and calibration both improve with scale, but are poor in absolute terms.
• OpenAlex ID：W4281690148
• OpenAlex DOI：10.48550/arxiv.2206.04615
• DOI：10.48550/arxiv.2206.04615
• DOI来源：OpenAlex
• 开放获取：green
• 开放获取链接：https://arxiv.org/pdf/2206.04615
• OpenAlex更新：2026-08-23
• 待LLM分类：否
• 成熟度：research
• 场景：scaling、capability-evaluation、big-bench
• 标题中文：Beyond the Imitation Game：语言模型能力的量化与外推
• TLDR中文：在 BIG-bench 上对 OpenAI 的 GPT 模型、Google 内部稠密 Transformer 架构及 Switch 风格稀疏 Transformer 进行评估，模型规模跨越百万至千亿参数，结果显示性能与校准均随规模提升而改善，但绝对水平仍然欠佳。
• 来源文件：
• [OpenAlex discover]
• [S2 enrich]