导读:目前最火热的大模型公司莫过于OpenAI。OpenAI首席科学家Ilya Sutskever在接受采访时不断暗示,next token prediction是GPT系列大模型成功的关键,但直到2023年8月,他在伯克利理论计算机科学研究所演讲时才明确透露,GPT的数学依据是所罗门诺夫归纳法。
从 2019 年的谷歌 T5 到 OpenAI GPT 系列,参数量爆炸的大模型不断涌现。可以说,LLMs 的研究在学界和业界都得到了很大的推进,尤其去年 11 月底对话大模型 ChatGPT 的出现更是引起了社会各界的广泛关注。
参考:Alan M. Turing. Computing Machinery and Intelligence. Communications of the ACM, 59:433–460, 1950。
10月26日,专程飞到沈阳参加2023中国计算机大会(CNCC)的国际计算机协会(ACM)主席雅尼斯·约安尼迪斯(Yannis Ioannidis)教授,做了有关数据库系统研究的学术报告。中国计算机学会供图预训练大语言模型的价值在哪里?如何破解技术应用带来的隐私保护?