| 失效链接处理 |
|
提示学习(fn)QPromptingQ篇 PDF 下蝲
相关截图Q?/strong>
 主要内容Q?/strong> 一、ؓ(f)什么需?提示学习(fn)Q?/strong>PromptingQ？
在面对特定的下游dӞ如果q行Full FineTuningQ即寚w训练模型中的所有参数都q行微调Q，太过?/strong>
?/strong>Q?/span>如果采用固定预训l模型的某些层，只微调接q下怓Q务的那几层参敎ͼ又难以达到较好的效果?/span>
二、什么是 提示学习(fn)Q?/strong>PromptingQ？
Prompt提供上下文和d相关信息Q以帮助模型更好地理解要求，q生成正的输出?/span>
实例一Q问{Q务中Q?/span>prompt可能包含问题或话题的描述Q以帮助模型生成正确的答?/span>
实例二：(x)在情感分析Q务中Q让模型做情感分cMQ务的做法通常是在句子前面加入前缀“该句子的情感?/span>”卛_Q?/span>
通过q种方式 情感分cMQ务{换ؓ(f)一?/span>“填空”dQ在训练q程中，BERT可以学习(fn)到这个前~与句子情感之
间的兌。例如，它可以学?fn)?/span>“该句子的情感是积极的”?/span>“该句子的情感是消极的”之间的差异?/span>
三、提C学?fn)?/strong>PromptingQ?有什么优点？
提示学习(fn)Q?/span>PromptingQ旨?/span>通过最化微调参数的数量和计算复杂度，来提高预训练模型在新d上的性能Q?/strong>
从而缓解大型预训练模型的训l成?/strong>。这样一来，即计算资源受限Q也可以利用预训l模型的知识来迅速适应
CQ务，实现高效的迁Ud?fn)?/span>
四、提C学?fn)?/strong>PromptingQ有哪些Ҏ(gu)Q能不能E微介绍一下它们间Q?/strong>
4.1 前缀微调Q?/strong>Prefix-tiningQ篇
4.1.1 Z么需?前缀微调Q?/strong>Prefix-tiningQ？
1. 人工设计L?/span> Prompts ~点Q?/span>
a. Prompts 的变化对模型最l的性能特别敏感Q加一个词、少一个词或者变动位|都?x)造成比较大的
变化
2. 自动化搜索离散的 Prompts ~点Q?/span>
a. 成本也比较高
3. L化的token搜烦出来的结果可能ƈ不是最优的Q?/span>
4. 传统的微调范式利用预训练模型d不同的下怓Q务进行微调，Ҏ(gu)个Q务都要保存一份微调后的模型权
?/strong>Q一斚w微调整个模型耗时长；另一斚w也会(x)占很多存储空?/span>
|
| Java1234官方?5Q?/td> | 
|
| Java1234官方?5Q?/td> | 838462530 |
苏公|安?32061202001004?/p>
