提示（Prompt）是我们与LLM沟通的语言。自然语言文本和模型采样参数两者构成了提示工程的重要部分。
模型采样参数
Temperature
通过引入温度T>0，可以将Softmax函数
$p_{i}=\frac{e^{z_{i}}}{\sum_{j = 1}^{k}e^{z_{j}}}$
改写为：
$p_i^{(T)} = \frac{e^{z_i / T}}{\sum_{j=1}^k e^{z_j / T}}$
当低温度（0<T<0.3）时，模型的分布更陡峭，高概率项被放大，适合准确任务；中温度(0.3<T<0.7)时，输出更加平衡；高温度(0.7<T<2)时，输出更加具有创意性。
开源模型的T往往会给出推荐值。
Top-k
Top-k的原理是将所有Token按概率从高到低排序，取排名前k个token组成临时候选集，随后进行归一化，再从中采样。
当Top-K=1时，采样方法退化为贪心采样。