新闻公告

Press release

科普新知 | 三分钟了解ChatGPT

作者:信息中心
日期:2023/02/15

转自三分钟了解ChatGPT—中关村高新技术企业协会


这两天,ChatGPT在社交网络大火,很多小伙伴都在想着体验一下这个新鲜事物。关于如何注册ChatGPT,已经有很多文章介绍,我们就不再赘述了。这里主要跟读者们做一个简单的分享,让大家用几分钟的时间对ChatGPT及其背后的AI技术流派有个快速的了解。



Generative Pre-trained Transformer生成型预训练变换模型


GPT是”Generative Pre-trained Transformer“生成型预训练变换模型的缩写,目的是为了使用深度学习生成人类可以理解的自然语言。目前我们讨论的GPT一般指的是GPT-3,显而易见,在之前还有GPT-2和GPT。


GPT-3是由人工智能公司OpenAI训练与开发,该模型设计基于谷歌开发的变换语言模型。GPT-3的神经网络包含1750亿个参数,为有史以来参数最多的神经网络模型。OpenAI于2020年5月发表GPT-3的论文,微软在2020年9月22日宣布取得了GPT-3的独家授权。


ChatGPT: 为对话而优化的语言模型  


按照OpenAI官方的说法“我们已经训练了一个名为 ChatGPT 的模型,它以对话的方式进行交互。对话模式使 ChatGPT 能够回答连续的问题、承认错误、质疑不正确的前提并拒绝不恰当的请求。ChatGPT 是InstructGPT的兄弟模型,InstructGPT模型被训练为遵循对话中的指令并提供详细的响应。”


聊天机器人ChatGPT


ChatGPT是基于GPT3.5优化的一个模型,可以理解为是一个通用聊天机器人。根据 OpenAI 的说法,GPT-3.5通过吸收大量来自网络的内容,包括成千上万的维基百科条目、社交媒体帖子和新闻文章,来学习句子、单词和部分单词之间的关系。

ChatGPT的例子




延申阅读:GAN和Transformer


ChatGPT本质属于生成式人工智能,属于无监督或半监督的机器学习。与之相关的还有Discriminative modeling区分式模型,区分式模型大多属于监督式学习。

生成性人工智能目前有两种主要的框架:GAN(Generative Adversarial Network )和GPT(Generative Pre-trained Transformer )。

GAN目前广泛应用于图像、视频和语音生成,在医疗、自动驾驶、元宇宙等领域有实际的应用。

随着GPT-4的推出,预计生成性人工智能将再一次超越人们的预期。



EN