原标题: ChatGPT似乎会在使用大规模数据集进行训练时出现一些重复的论文或文章内容。这种情况可能是因为它学习了大量的开放网络文本,其中可能包含相同或类似的信息。
导读:
ChatGPT采用预测下一个字词的方法进行训练,因此当存在多个独立但表达方式相似的回答时,它有可能产生类似、甚至完全一样的响应。OpenAI已经试图通过添加基于补丁和重新启动技...
ChatGPT采用预测下一个字词的方法进行训练,因此当存在多个独立但表达方式相似的回答时,它有可能产生类似、甚至完全一样的响应。
OpenAI已经试图通过添加基于补丁和重新启动技术(例如Top-k抽样)来减少重复问题,尽管如此,在生成较长回答时仍然难以完全解决这个问题。