rikkahub 中文文档 下载 App

RikkaHub Token 消耗与长对话 · 上下文窗口管理

Token 是什么

Token 是大模型处理文本的最小单位。1 个中文汉字通常是 1-3 个 token,1 个英文单词通常是 1-2 个 token。每一轮对话消耗的 Token 包括:

类别说明占比
输入 Token你的消息 + 系统提示词 + 历史对话 + 记忆 + 模式注入 + 知识库匹配条目 + 工具定义(MCP / 搜索)通常占大头
输出 Token模型生成的回复通常较小

Token 消耗越来越大的原因

每轮对话,所有历史消息都会重新发送给模型。所以:

这就是为什么"长对话比短对话贵得多"。

降低消耗的策略

策略 1:辅助任务用便宜模型(已在「多提供商」章节提及)

功能推荐模型理由
对话GPT-4o / Claude Sonnet强模型质量好
OCRGPT-4o-mini / Claude Haiku快且便宜
记忆提取任何便宜文本模型不需要视觉
标题生成最便宜的只是生成标题

策略 2:减小 contextMessageSize

助手设置 → 上下文 → contextMessageSize:

值效果
0包含所有历史(默认)
10只保留最近 10 条用户消息
20只保留最近 20 条用户消息
50只保留最近 50 条用户消息

设为较小值可以显著降低长对话的消耗。但模型会丢失更早的对话上下文——你需要在"成本"和"连续性"之间取舍。

策略 3:定期开新对话

与其在一个对话里聊 100 轮,不如主题切换时开新对话。优点:

策略 4:精简系统提示词和注入

策略 5:关闭不必要的功能

策略 6:选择合适的搜索结果数量

网页搜索 / Custom JS 搜索里的"结果数量"设为 3-5 条即可,太多搜索结果也会注入上下文。

怎么监控 Token 消耗

打开历史抽屉 → 图表图标进入统计页面(详见「聊天深度使用 → 统计页面与 Token 用量」)。你能看到:

定期看统计页面,能发现你最常用的模型、对话通常多长、哪些功能消耗最多。

上下文窗口的限制

每个模型有不同的上下文窗口大小:

模型典型窗口
GPT-4o128k token
Claude Sonnet 4200k token
Claude 3.5 Haiku200k token
小模型 / 便宜模型8k - 32k token

当对话总 Token 接近上下文窗口时:

如果你遇到超限错误:

实际场景的 Token 估算

场景估算 Token说明
简单问答(5 轮)1k - 3k短对话,主要是输入
中等对话(20 轮)10k - 30k历史累积明显
长对话(50 轮)30k - 80k历史是主要消耗
附带长文档(50 页 PDF)初始注入 10k+文档提取文本占大头

省钱 vs 质量的平衡

RikkaHub 给了你灵活的选项——从"极致省钱"到"极致质量":

总结

策略效果成本
辅助任务用便宜模型显著零(只是配置)
减小 contextMessageSize中等 - 显著低(牺牲一些连续性)
定期开新对话中等零(只是习惯)
精简提示词 / 注入小 - 中等零
关闭不用的功能小零
监控 Token 统计帮助发现问题零