最近大模型发展卷的很，小弟都被整抑郁了。想要研究学习大模型，应该从哪里开始呢？目前大模型发展生态最好的当属Meta的LLaMA模型。如果GPT系列是Windows操作系统(巧了，OpenAI的大东家目前就是微软)，那么LLaMA就是Linux。
编辑：编辑部【新智元导读】是时候用CPU通用服务器跑千亿参数大模型了！马斯克19天建成由10万块H100串联的世界最大超算，已全力投入Grok 3的训练中。与此同时，外媒爆料称，OpenAI和微软联手打造的下一个超算集群，将由10万块GB200组成。
潮新闻客户端 记者 张云山7月23日，Meta开源最新Llama 3.1系列，包括备受关注的4050亿参数 “超大杯”模型。阿里云魔搭社区第一时间上架全系列3款模型，阿里云百炼平台在国内首家推出针对Llama 3.
现在，15小时、几千块钱、85亿 token数据，即可训出中文LLaMA2。从整个训练的 Loss 记录来看，在利用 Colossal-AI 系统降本增效能力的同时，模型收敛性也得到充分保证，仅通过约 8.5 B tokens，数千元算力成本，让模型达到如上效果。
和 GPT 系列一样，LLaMA 模型也是 Decoder-only 架构，但结合前人的工作做了一些改进，比如:Pre-normalization . 为了提高训练稳定性，LLaMA 对每个 transformer 子层的输入进行归一化，使用 RMSNorm 归一化函数，Pre-normalization 由Zhang和Sennrich引入。
1 大模型特点。2 LLaMA聚焦。Attention结构 :sparse attention，low-rank attention，multi-query attention，grouped-query attention，...
多名作家指控美国“元”公司在其首席执行官马克·扎克伯格批准下，使用盗版书籍来训练人工智能（AI）系统。据路透社9日报道，塔奈希西·科茨、萨拉·西尔弗曼等作家2023年就曾起诉“元”公司，称这家科技巨头滥用他们的作品来训练其Llama大型语言模型。
