失效链接处理 |
大模型(LLMsQ进阉 PDF 下蝲
相关截图Q?br />
![]() 主要内容Q?/strong>
1. 模型参数量更大,参数量都?/span>BillionU别Q?/span>
2. 可通过条g或上下文引导Q生生成式的内容(所谓的prompt engineer是由此而来Q?/span>
1. 从训l角度来看:(x)
a. ZTransformer的模型参数量巨大Q有助于模型学习(fn)到多样化的语a模式与结构;
b. 各种模型微调技术的出现Q例?/span>P-Tuning?/span>LoraQ让大模型微调成本更低,也可以让模型在垂直领?/span>
有更强的生成能力Q?/span>
扫码?/span>
查看更多c. 在训l过E中加入一些设计好?/span>lossQ也可以更好地抑制模型生成单调内容;
2. 从推理角度来看:(x)
a. ZTransformer的模型可以通过引入各种参数与策略,例如temperatureQ?/span>nucleus samlper来改变每
ơ生成的内容?/span>
三?/strong>LLMs 复读机问?/strong>
3.1 什么是 LLMs 复读机问题?
LLMs 复读机问?/span>:
1. 字符U别重复Q指大模型针对一个字或一个词重复不断的生?/span>
例如在电(sh)商翻译场景上Q会(x)出现“steckdose steckdose steckdose steckdose steckdose steckdose steckdose
steckdose...”Q?/span>
1. 语句U别重复Q大模型针对一句话重复不断的生?/span>
例如在多模态大模型囄理解上,生成的结果可能会(x)不断重复囄的部分内容,比如“q是一个杯子,q是一?/span>
杯子...”Q?/span>
1. 章节U别重复Q多ơ相同的prompt输出完全相同或十分近似的内容Q没有一点创新性的内容
比如你让大模型给你写一关于春天的作文,l果发现大模型的生成l果千篇一律,甚至q乎一怸栗?/span>
1. 大模型针对不同的prompt也可能会(x)生成cM的内容,且有效信息很、信息熵偏低
|