原标题: GPT(Generative Pre-trained Transformer)是一种自然语言处理模型,它使用Transformer架构进行预训练,并以生成方式完成多个NLP任务。以下是与ChatGPT相关的论文:
导读:
1. "Improving Language Understanding by Generative Pre-training" (2018): 由Alec...
1. "Improving Language Understanding by Generative Pre-training" (2018): 由Alec Radford等人撰写的该论文介绍了最初的GPT模型,并讨论了如何通过无监督学习大量文本数据来提高语言理解能力。
2. "Language Models are Unsupervised Multitask Learners" (2019): 这篇论文进一步扩展并改进了GPT模型,在更大规模的数据集上进行预训练,它描述了一个新颖的自回归式目标函数和将单词替换为随机掩码来增强模型性能的方法。
3. "ChatGPT: Large-Scale Language Model Fine-Tuning for Conversational Response Generation" (2020): 此论文详细介绍了ChatGPT,即专门用于对话生成任务 fine-tune 的版本,研究人员使用Reinforcement Learning from Human Feedback (RLHF)方法创建和筛选聊天对话样本以及实现精心设计的调度程序来平衡样本选择、环境交互和注意力分配。
4. "Plug and Play Language Models: A Simple Approach to Controlled Text Generation" (2020): 这篇论文提出了PPLM框架,这是一种基于GPT的方法,通过对输入文本进行扰动来生成受控和个性化的文本,ChatGPT也可以使用PPLM框架进行改进。