Token(词元) 核心概念

模型计费与处理的基本单位,通常是子词片段而非整词。`usage` 字段里的 `prompt_tokens` / `completion_tokens` / `total_tokens` 是成本核算的唯一依据;`max_tokens` 限制输出长度,撞上会被截断(`finish_reason: 'length'`)。

它是什么

Token(词元)是模型计费与处理的基本单位,通常是子词片段而非整词:一个英文单词约 1.3 个 token,中文、代码、符号的密度各不相同——想验证就用 OpenAI 官方的 tokenizer 工具把一段文本粘进去数一数。

为什么它决定成本

usage 字段里的 prompt_tokens / completion_tokens / total_tokens 是成本核算的唯一依据:每一次请求,整个 messages 数组都会被完整计费,所以历史越长每次调用越贵、随轮数线性增长;输出普遍比输入贵(常见 3~5 倍),让模型输出短一点是真金白银的省钱。max_tokens 限制输出长度,撞上会被截断(finish_reason: 'length')。第 20 章会做完整的成本核算(token-cost 词条)。

易混点

token ≠ 字符,也不等于单词:不要用字符数估费用;同一句话在不同分词器(各家厂商、不同模型版本)下 token 数可能不同,估算只能近似。

相关词条

出现在这些章节