| 失效链接处理 |
|
大模型（LLMsQ训l集?PDF 下蝲
相关截图Q?/strong>
 主要内容Q?/strong>
1. SFTQ有监督微调Q的数据集格式？
一问一{?/span>
2. RMQ奖励模型）的数据格式？
一个问?/span> + 一条好回答样例 + 一条差回答样例
3. PPOQ强化学习）的数据格式？
理论上来_不需要新增数据。需要提供一?/span>promptQ可以直接用sft阶段的问。另外，需要限?/span>
模型不要偏离原模型太q（ptx lossQ，也可以直接用sft的数据?/span>
4. 找数据集哪里找？
推荐Alpaca-COTQ数据集整理的非常全Q眼q乱?/span>
5. 微调需要多条数据Q?/strong>
取决于预训练数据和微调Q务的数据分布是否一_分布一_100条就够，分布差异大就需要多
些数据，千条或者万条以上ؓ佟?/span>
自己的Q务复杂或者下怓Q务行业比较冷门，如药品名U识别Q务，则需要较多监督数据。还有微
调大模型Ӟ一遍是C住的?/span>100条的微调数据Q?/span>epochs=20才能E_拟合d要求?/span>
6. 有哪些大模型的训l集Q?/strong>
预训l数据集togethercomputer/RedPajama-Data-1T「红睡衣」开源计划d包括三部分：
预训l数据集RedPajama-Data-1T已开源，包括七个子集Q经q预处理后得到的token数量大致?/span>
以匹?/span>Meta在原?/span>LLaMA论文中报告的数量Qƈ且数据预处理相关脚本也已开源?/span>
完整?/span>RedPajama-Data-1T数据集需要的存储定w为压~后3TBQ解压后5TB?/span>
CoT微调数据集：Alpaca-CoT 里面包括常用?/span>alpacaQ?/span>CoT{数据集Q有中文的?/span>
7. q行领域大模型预训练应用哪些数据集比较好Q?/strong>
通过分析发现现有的开源大模型q行预训l的q程中会加入数据、论文等数据。主要是因ؓq些?/span>
据的数据质量较高Q领域相x比较强Q知识覆盖率Q密度）较大Q可以让模型更适应考试。给?/span>
• 高质量、大规模、高覆盖度的预训l数据集Q?/span>
• 在预训练数据集上训练出的基础模型Q?/span>
• 指o调优数据集和模型Q比基本模型更安全、可靠?/span>
扫码?/span>
查看更多们自p行大模型预训l的时候提供了一个参考。同旉域相关的|站内容、新d容也是比较重
要的数据?/span>
|
| Java1234官方?5Q?/td> | 
|
| Java1234官方?5Q?/td> | 838462530 |
苏公|安?32061202001004?/p>
