ALBERT: A Lite BERT for Self-supervised Learning of Language\n Representations

• 类型：arxiv
• 标识：1909.11942
• 链接：https://arxiv.org/abs/1909.11942
• 主题：evaluation
• 主分类：llm-infra
• 形态：method
• 被引：7665
• 被引来源：Semantic Scholar
• S2被引：7665
• OpenAlex被引：4076
• 影响力被引：1026
• TLDR：This work presents two parameter-reduction techniques to lower memory consumption and increase the training speed of BERT, and uses a self-supervised loss that focuses on modeling inter-sentence coherence.
• OpenAlex ID：W2996428491
• OpenAlex DOI：10.48550/arxiv.1909.11942
• DOI：10.48550/arxiv.1909.11942
• DOI来源：OpenAlex
• 开放获取：green
• 开放获取链接：https://arxiv.org/pdf/1909.11942
• OpenAlex更新：2026-08-25
• 待LLM分类：否
• 成熟度：production
• 场景：model-compression、BERT、pretraining
• 标题中文：ALBERT：用于语言表示自监督学习的轻量版 BERT
• TLDR中文：本工作提出两种参数削减技术以降低 BERT 的内存占用并提升训练速度，并采用一种聚焦于建模句子间连贯性的自监督损失。
• 来源文件：
• [OpenAlex discover]
• [S2 enrich]