資料內(nèi)容：
一、為什么需要 提示學(xué)習(xí)（Prompting）？
在面對(duì)特定的下游任務(wù)時(shí)，如果進(jìn)行Full FineTuning（即對(duì)預(yù)訓(xùn)練模型中的所有參數(shù)都進(jìn)行微調(diào)），太過(guò)低
效；而如果采用固定預(yù)訓(xùn)練模型的某些層，只微調(diào)接近下游任務(wù)的那幾層參數(shù)，又難以達(dá)到較好的效果。
二、什么是 提示學(xué)習(xí)（Prompting）？
Prompt提供上下文和任務(wù)相關(guān)信息，以幫助模型更好地理解要求，并生成正確的輸出。
實(shí)例一：?jiǎn)柎鹑蝿?wù)中，prompt可能包含問(wèn)題或話題的描述，以幫助模型生成正確的答案
實(shí)例二：在情感分析任務(wù)中，讓模型做情感分類任務(wù)的做法通常是在句子前面加入前綴“該句子的情感是”即可，
通過(guò)這種方式 將情感分類任務(wù)轉(zhuǎn)換為一個(gè)“填空”任務(wù)，在訓(xùn)練過(guò)程中，BERT可以學(xué)習(xí)到這個(gè)前綴與句子情感之
間的關(guān)聯(lián)。例如，它可以學(xué)習(xí)到“該句子的情感是積極的”和“該句子的情感是消極的”之間的差異。
三、提示學(xué)習(xí)（Prompting） 有什么優(yōu)點(diǎn)？
提示學(xué)習(xí)（Prompting）旨在通過(guò)最小化微調(diào)參數(shù)的數(shù)量和計(jì)算復(fù)雜度，來(lái)提高預(yù)訓(xùn)練模型在新任務(wù)上的性能，
從而緩解大型預(yù)訓(xùn)練模型的訓(xùn)練成本。這樣一來(lái)，即使計(jì)算資源受限，也可以利用預(yù)訓(xùn)練模型的知識(shí)來(lái)迅速適應(yīng)
新任務(wù)，實(shí)現(xiàn)高效的遷移學(xué)習(xí)。
四、提示學(xué)習(xí)（Prompting）有哪些方法，能不能稍微介紹一下它們間？
4.1 前綴微調(diào)（Prefix-tining）篇
4.1.1 為什么需要 前綴微調(diào)（Prefix-tining）？
1. 人工設(shè)計(jì)離散的 Prompts 缺點(diǎn)：
a. Prompts 的變化對(duì)模型最終的性能特別敏感，加一個(gè)詞、少一個(gè)詞或者變動(dòng)位置都會(huì)造成比較大的
變化
2. 自動(dòng)化搜索離散的 Prompts 缺點(diǎn)：
a. 成本也比較高
3. 離散化的token搜索出來(lái)的結(jié)果可能并不是最優(yōu)的；
4. 傳統(tǒng)的微調(diào)范式利用預(yù)訓(xùn)練模型去對(duì)不同的下游任務(wù)進(jìn)行微調(diào)，對(duì)每個(gè)任務(wù)都要保存一份微調(diào)后的模型權(quán)
重，一方面微調(diào)整個(gè)模型耗時(shí)長(zhǎng)；另一方面也會(huì)占很多存儲(chǔ)空間
