通过指令调整来增强开源LLM,并对性能进行评估。目标是用定量分析来补充评估。
当前指令遵循LLM(instructtion-following LLM)存在局限性:生成的结果缺乏可信度、使用的模型缺乏透明度,会引起对数据安全的担忧,以及未知的训练配方,无法为特定的需求定制模型。
PandaLLM是第一个面向海外受众的开源中文指令LLM,也是Dandelion Project的第一版LLM,在 Chinese-Wiki-2019、Chinese-News-2016、Chinese-Baike-2018、Chinese-Webtext-2019 和 Translation-2019 Xu (2019) 和 COIG 数据集 Zhang et al. ( 2023) 和 Wei et al. ( 2021) 上进行了训练,并基于 LLaMA 模型 Touvron et al. ( 2023) 进行了指令调优。
PandaLLM的贡献有三方面:
强大的Pre-trained LM + 高质量的instruction-following Dataset = 高质量的 instruction-following LLM
2步,一个是强大的预训练模型,一个是高质量的instruction-following数据集。
PandaLLM是选用了各种LLaMA,配上6个开源中文数据集