首个万亿级模型：谷歌推出语言模型 Switch Transformers，1.6 万亿参数

众所周知，参数量是机器学习算法的关键。在大规模参数量和数据集的支持下，简单的体系结构将远远超过复杂的算法。

在自然语言领域，被称为史上最强 NLP 的 GPT-3 拥有 1750 亿参数。近日，Google 将这一参数量直接拉高到了 1.6 万亿。

1 月 11 日，Google 在 arXiv 上发表论文《Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity》，提出了最新语言模型—Switch Transformer。