Temperature(采样温度) 核心概念

别名: 温度

采样参数,控制输出的随机性:缩放模型对下一个词的概率分布。温度低 → 分布变「尖」,输出稳定保守;温度高 → 分布变「平」,输出多样发散。与 `top_p` 二选一调整;需要确定性时用低温度 + `seed`。

它是什么

Temperature(采样温度)控制输出的随机性:模型生成下一个词时会为候选词表算一个概率分布,temperature 缩放这个分布——低温度让分布变「尖」,几乎总选概率最高的词,输出稳定保守;高温度让分布变「平」,容易选到没那么顺理成章的词,输出多样发散。直觉记忆法:temperature 管「发不发热」,top_p 管「候选池多大」。

为什么「temperature=0.1 还是不一样」

采样本身是随机的,低温度只是大概率选高概率词,不是绝对确定;需要确定性时用低温度 + seed(尽力而为,不是绝对确定性)。temperature=0 通常是「确定性」的实用近似,但不等于数学上的确定。

注意点

官方建议与 top_p 二选一调整,不要同时大幅修改;temperature 不改变语义,只改变同一语义的措辞多样性。第 02 章用 mock server 做了低/高温的对比实验,真实模型上低温的两次输出几乎一样、高温的两次差别明显。

相关词条

出现在这些章节