原标题: ChatGPT的发展过程可以追溯到OpenAI推出的第一个版本,即GPT(Generative Pre-trained Transformer)模型。该模型是基于Transformer架构和无监督学习方法进行训练的。
导读:
初始版本:2019年6月,OpenAI发布了首个预训练语言模型GPT-1,这个模型使用了40GB文本数据,并通过自回归方式生成文本,GPT-1存在一些限制,例如会做出与输入问题...
初始版本:2019年6月,OpenAI发布了首个预训练语言模型GPT-1,这个模型使用了40GB文本数据,并通过自回归方式生成文本,GPT-1存在一些限制,例如会做出与输入问题相关度较低或者完全错误的回答。
改进版本:为了改善上述问题,在2019年11月,OpenAI发布了更强大的预训练语言模型GPT-2,相比于GPT-1, GPT-2采用了更大规模的数据集(将Web爬取得超过8百万网页作为源),并且增加了网络深度和参数量,由于担心滥用潜力,OpenAI在最初只公开发布了部分中等规模版本,并暂时不提供源代码和权重文件。
社区参与:尽管如此,在2020年3月之后,已经有人复现、微调并向公众分享了各种规模的GPT-2版本,这使得越来越多使用案例涌现出来,并进一步验证其实用性和局限性。
Chatbot应用:基于以上成果以及用户的反馈,OpenAI在2020年6月发布了ChatGPT,这是一个以GPT-2为基础进行微调的模型,专门用于开发聊天机器人应用,尽管ChatGPT存在一些问题(如回答不准确、偏颇或敏感话题等),然而OpenAI将其定位为一个能够提供有趣和实用但注意到少数情况下可能会输出质量差的系统。
进一步改进:随着时间的推移,OpenAI继续致力于改善和升级他们的语言模型,在2021年11月,他们推出了更先进且规模更大的聊天语言模型:ChatGPT Plus和ChatGPT Pro,并计划逐渐放宽提问限制并增加其他新功能。