大模型基础（非实物书籍，只是电子PDF格式）

随着数据资源和计算能力的爆发式增长，语言模型的参数规模和性能表现实现了质的飞跃，迈入了大语言模型（LargeLanguageModel,LLM）的新时代。凭借着庞大的参数量和丰富的训练数据，大语言模型不仅展现出了强大的泛化能力，还催生了新智能的涌现，勇立生成式人工智能（ArtificialIntelligenceGeneratedContent,
AIGC）的浪潮之巅。当前，大语言模型技术蓬勃发展，各类模型层出不穷。这些模型在广泛的应用场景中已经展现出与人类比肩甚至超过人类的能力，引领着由AIGC驱动的新一轮产业革命。本章将深入探讨大语言模型的相关背景知识，并分别介绍Encoder-only、Encoder-Decoder 以及 Decoder-only 三种主流模型架构。通过列举每种架构的代表性模型，深入分析它们在网络结构、训练方法等方面的主要创新之处。最后，本章还将简单介绍一些非Transformer架构的模型，以展现当前
大语言模型研究百花齐放的发展现状。