训练一个AI大模型需要多少钱?OpenAI CEO山姆·奥特曼曾表示,GPT-4的训练成本大约1亿美元(约合人民币7.3亿元),未来训练大模型的成本将高于10亿美元。尚未完成训练的GPT-5大模型,为时约半年的一轮训练就消耗了大约5亿美元,可见AI公司的支出成本有多高。
上次《科普神文,一次性讲透AI大模型的核心概念》一文中,我基于结合大量示例及可视化的图形手段给大家科普了AI大模型的相关算法和核心概念。但是收到不少非技术背景的小伙伴反馈,相关的算法内容的解释技术性还是太强,很难完全理解。
上图框出来的部分就是错误部分,事实上 Token 机制和 Session-Cookie 机制最大的区别就在于,后者需要在服务端存储 Session 对象,而前者的 Token 不需要在服务端进行存储,而是分散给每个客户端自行存储,大大缓解了服务端的压力。