在本实践指南中，我们将探索如何创建由 LLamA2 和 LLamAIndex 提供支持的复杂问答助手，利用最先进的语言模型和索引框架轻松浏览 PDF 文档的海洋。使用 Hugging Face 的 LLamA2 模型开发 RAG 系统。
和 GPT 系列一样，LLaMA 模型也是 Decoder-only 架构，但结合前人的工作做了一些改进，比如:Pre-normalization . 为了提高训练稳定性，LLaMA 对每个 transformer 子层的输入进行归一化，使用 RMSNorm 归一化函数，Pre-normalization 由Zhang和Sennrich引入。
1 大模型特点。2 LLaMA聚焦。Attention结构 :sparse attention，low-rank attention，multi-query attention，grouped-query attention，...
Meta AI一直是人工智能领域开源领域的领导者，一边是OpenAI鼓吹闭源才是人工智能大模型的未来，但是Meta AI却开源了自己的Llama 3大模型，且Llama 3开源模型支持80亿与700亿参数，而未来更大的4000亿参数大模型还在继续训练中。
