如何计算大模型到底需要多少显存，是常常被问起的问题，现从实用角度再介绍一个简单公式和一个工具方便大家工作中使用。1）估算公式（该公式来自于Sam Stoelinga简化[1]）符号描述M用千兆字节 (GB) 表示的 GPU 内存P模型中的参数数量。
你敢信吗？一块24G显存的显卡，居然能跑671B参数的大模型！是不是觉得有点“离谱”？但清华大学KVCache.AI团队联合趋境科技发布的KTransformers开源项目，真的做到了这一点。今天，我们就来聊聊这个让无数开发者直呼“真香”的技术突破。大模型的硬件门槛有多高？
用的软件叫Stable Diffusion，是一款免费开源软件，在电脑上运行，电脑显存最少要8G，最好是12G左右，我目前有三台电脑，一台装24G的4090显卡，一台装12G的3060显卡，再一台是装了8G的2070显卡，今天主要用3060和4090做一次速度对比的展示，今天输入的参数为生成一批穿着日本衣服的女孩.
