这次是纯粹的大语言模型，相比上一次的70亿，新模型的参数量来到了140亿。问题如下:Sally has 3 brothers. Each brother has 2 sisters. How many sisters does Sally have?
在本实践指南中，我们将探索如何创建由 LLamA2 和 LLamAIndex 提供支持的复杂问答助手，利用最先进的语言模型和索引框架轻松浏览 PDF 文档的海洋。使用 Hugging Face 的 LLamA2 模型开发 RAG 系统。
在 TRL 中实现 DPO 训练器的好处是，人们可以利用 TRL 及其依赖库 中已有的 LLM 相关功能。接着，我们继续进行 DPO 训练，我们把 SFT 生成的模型作为 DPO 的基础模型和参考模型，并在上文生成的 stack-exchange preference 数据上，以 DPO 为目标函数训练模型。
现在，15小时、几千块钱、85亿 token数据，即可训出中文LLaMA2。从整个训练的 Loss 记录来看，在利用 Colossal-AI 系统降本增效能力的同时，模型收敛性也得到充分保证，仅通过约 8.5 B tokens，数千元算力成本，让模型达到如上效果。
在上期文章中，我们简要回顾了Llama模型的概况，本期文章我们将详细探讨【关于Llama 2】，你需要知道的那些事儿。01Llama 2的性能有多好？作为Meta新发布的SOTA开源大型语言模型，Llama 2是Llama模型的延续和升级。
1 大模型特点。2 LLaMA聚焦。Attention结构 :sparse attention，low-rank attention，multi-query attention，grouped-query attention，...
Decoder-only Transformers :这是大多数生成式 LLM 使用的 Transformer 架构的特定变体。直到最近提出 LLaMA-2 之前，开源 LLM 主要使用 SFT 对齐，RLHF 最少。
