应用介绍
在大语言模型如火如荼的当下，长文本建模仍然是一个极具挑战的问题。纠其根源，一方面在于主流 LLMs 的架构 Transformers 中平方复杂度及随序列长度线性增长的推理阶段显存开销；另一方面在于 full-attention 有限的外推能力，难以泛化到远超预训练阶段长度的输入。
在大语言模型如火如荼的当下，长文本建模仍然是一个极具挑战的问题。纠其根源，一方面在于主流 LLMs 的架构 Transformers 中平方复杂度及随序列长度线性增长的推理阶段显存开销；另一方面在于 full-attention 有限的外推能力，难以泛化到远超预训练阶段长度的输入。
