ChatGPT是由多个模型演化而成的。

最初的版本是OpenAI GPT（Generative Pre-trained Transformer）模型，它通过对大量文本数据进行预训练来学习语言知识，将此预训练模型微调到适应聊天任务，以生成与用户输入相关的响应。

在2020年底发布的DialoGPT中，OpenAI进一步改进了聊天机器人模型，DialoGPT引入了一种称为“循环连接”（retrieval-based model） 的方法，在生成回复之前，根据先前对话历史从候选集中选择最佳响应作为参考。

最近发布的ChatGPT则结合了这两种方法，并采用了一个更强大、更现代化的基础架构，ChatGPT使用远程监督式学习方式，在新闻文章网站Reddit上收集问题和答案作为样本数据进行精调，同时引入了Decoder-only 谷歌翻译Transformer架构，并通过简单修改得到一个可用于生成回复的序列到序列网络。