视频链接：https://www.youtube.com/watch?v=KlrwwEX6_SY
另一方面，ChatGPT 似乎牺牲了几乎所有的上下文学习的能力来换取建模对话历史的能力。
总的来说，在2020-2021年期间，在code-davinci-002之前，OpenAI 已经投入了大量的精力通过代码训练和指令微调来增强GPT-3。
当他们完成code-davinci-002时，所有的能力都已经存在了。
ChatGPT怎么抓取素材ChatGPT是怎么抓取素材，并一步步生成你想要的内容的呢？
Youtube博主Jay Alammar在「How GPT3 Works - Visualizations and Animations」用可视化方式演示了这一过程。
首先输入Prompt机器人第一定理「the first law of robotics」。
接下来，GPT3处理这句话中「robotics」这个单词主要分为三个步骤（如下图）：
- 将单词转换为表示单词的向量
- 计算预测
- 将结果向量转换为单词
值得一提的是，GPT-3每次只生成一个token，这也解释了为什么ChatGPT的回答是一个一个单词生成的。
此外，GPT3的训练是将模型暴露在大量文本中的过程。
即从一句话中可以生成三个训练样本。
