GPT（Generative Pre-trained Transformer）是一种基于Transformer模型的自然语言处理技术，它通过在大规模文本数据上进行预训练，使其具备了解决各种NLP任务的能力。GPT主要由两个部分组成：编码器和解码器。编码器负责对输入序列进行建模，并生成隐藏表示；而解码器则利用这些隐藏表示来生成输出序列。