指令微调已经展示了在LLM训练中的非凡作用，但还是需要人来编写，于是推出了Self-Instruct框架，通过预训练语言模型自身生成的内容来提升这些模型遵循指令的能力。类似于自举（bootstrapping）的概念，通过使用模型的输出来增强模型的本身，而不完全依赖外部数据，增强模型的泛化能力，使其能更好的适应新的指令和任务。

使用 vanilla GPT3 从生成的指令数据中选定的任务。一些文本被重新格式化以进行演示。有关更多示例，请参见表 10。

Self-Intent 的高级概述。该过程从一小群种子任务作为任务池开始。随机任务从任务池中抽取样本，用于提示现成的 LM 生成新指令和相应的实例，然后过滤低质量或相似的生成，然后添加回任务的初始存储库。生成的数据可用于以后语言模型本身的指令调整，以便更好地遵循指令。图中所示的任务由 GPT3 生成。