Nucleus Sampling
了解核采样（top-p）如何为AI文本生成选择Token，并将其与top-k、贪婪解码以及温度进行对比，以调整输出的多样性。
核心采样也称为 top-p 采样，是在 AI 文本生成过程中选择下一个 token 的一种方法。模型不会总是挑选概率最高的 token，而是构建一个候选列表，其概率之和至少达到所选的阈值，然后从该候选列表中进行随机采样。候选列表会随着每次预测而变化：当某个后续内容显而易见时，候选列表可以很小；而当多个后续内容都合理时，候选列表则会更大。
核心采样的工作原理#
语言模型会为每个可能的下一个 token 分配一个概率。这些概率通常使用 softmax 根据模型的输出得分计算得出，这使得这些值的总和为一。核心采样按概率从高到低对 token 进行排序，将其包含在内直到累积概率达到阈值 p，排除其余部分，并从包含的 token 中进行采样。这里，p 代表概率质量，而不是单个 token 的概率。PyTorch 的 softmax 文档解释了概率转换，而IBM 的解码指南描述了累积截断。(docs.pytorch.org)
假设四个可能的下一个 token 的概率分别为 0.50、0.25、0.15 和 0.10。在 top_p=0.80 的情况下，前两个的总和仅为 0.75，因此第三个也被包含在内，使候选列表达到 0.90。第四个被排除在外。然后，模型在前三个中按其归一化后的概率成比例进行采样；它不会赋予每个候选相等的几率。截断值可能会超过 p，因为跨越该截断值的 token 仍然保留在候选列表中。Google Cloud 关于 top-p 的解释描述了相同的 token 选择规则。(cloud.google.com)
在生成每个 token 之后，这种选择会再次发生。随着句子的发展，模型会计算出一个新的分布，从而产生一个新的核心。
Top-p 与 Top-k、贪婪解码和温度#
这些设置会影响生成的不同部分：
- Top-k 采样保留固定数量的候选者，例如概率最高的前五个 token。Top-p 保留足够多的候选者以达到概率阈值，因此其候选列表没有固定的大小。
- 贪婪解码始终选择概率最高的单个 token。它具有可预测性，但不具备采样所允许的任何变化性。
- **温度（Temperature）**在选择之前改变模型偏爱高概率 token 的程度。较低的温度将概率集中在首选选项上；较高的温度则将其分得更广。相反，Top-p 对生成的分布设置累积截断。
实现可以结合这些控制项，但它们的交互作用使得结果更难解释。在进行实验时，一次更改一个设置。OpenAI 聊天补全参数参考描述了 top_p，并建议调整它或温度，而不是同时调整两者。(platform.openai.com)
它在实践中的重要性#
在客户支持聊天机器人中，核心采样可以允许对常规回答进行几种自然的措辞表达，而无需从每一个不太可能的后续内容中抽取。例如，解释退货政策的助理可能会改变其开场白，同时保留其提示词中提供的政策详情。采样不会验证这些详情：流畅的回答仍然可能是错误的，因此事实检查和适当的依据仍然是必要的。
在图像描述生成中，视觉语言模型可能有几种合理的方法来描述同一个街景。Top-p 可以在过滤掉低概率 token 选择的同时改变描述的措辞。视觉管道可以首先使用 Ultralytics YOLO26 进行目标检测，然后将检测到的目标作为上下文提供给描述生成器。YOLO 的检测步骤不使用核心采样来选择其目标标签；该设置适用于下游的语言生成步骤。TensorFlow 图像描述生成教程阐释了视觉输入与文本解码器是如何组合在一起的。(ibm.com)
在有文档记录的工作流中尝试 Top-p#
Ultralytics LLM 接口接受兼容语言模型端点的请求参数。在安装 ultralytics[llm] 并设置 OPENAI_API_KEY 后，此示例请求使用 top_p=0.9 返回简短的响应：
from ultralytics import LLM
# Use an endpoint that supports the top_p request argument.
llm = LLM("gpt-4.1-mini", api="chat.completions")
prompt = "Describe a city bus in one friendly sentence."
response = llm(prompt, top_p=0.9)
message = response.choices[0].message
print(message.content)该代码将 token 选择交由语言模型提供商处理。再次运行它可能会产生不同的措辞，但 top_p=0.9 并不保证每个响应都不同。在其他地方应用相同设置之前，请检查所选模型支持的参数。
选择有用的设置#
从模型的默认值开始，然后在具有代表性的提示词上比较输出。如果响应偏向于不太可能的措辞，请降低 top_p；如果它们毫无必要地重复，请考虑使用更高的值。根据任务来判断结果——而不仅仅是看多样性。对于客户回答或描述，请检查事实准确性以及是否存在重要的细节。较窄的候选列表可以减少一些异常的后续内容，但它无法使不受支持的陈述变为现实。IBM 关于生成准确输出的指导意见同样将解码选择视为有依据的生成工作流的一部分。(ibm.com)
