ChatGPT是由OpenAI团队开发的一个基于Transformer模型的聊天生成模型。它是通过对大量互联网文本进行预训练，学习语言规则和上下文特征后得到的。

ChatGPT使用了一种称为无监督学习的方法来进行预训练，在这个阶段，模型只需要处理巨大数量的文本数据，并尝试捕捉其中潜在的结构和意义。

在预训练阶段，ChatGPT使用了一个自编码器-解码器架构，它首先将输入序列经过编码器部分（Transformer编码器），该部分会逐词计算每个单词与其周围单词之间关系的表示；然后将此表示传递给解码器（也是Transformer）来生成输出序列，解码器根据前面已经生成好的序列内容和当前词位置上所有可见以及一些不可见（遮蔽）单元中所包含信息去猜测目标序列中下一个要出现什么样子。

在完成预训练之后，ChatGPT还需要通过有监督微调来提高性能表现，这时候OpenAI会从人们创建并评估了合理回复对话集合开始进一步优化模型参数，并利用强化学习策略使其更好地满足用户需求。