多模态输入与 OCR 降级 · 图片 PDF DOCX 自动提取
RikkaHub 的多模态支持
你不仅可以发纯文本消息。RikkaHub 支持在任意消息中附加图片和文档,并会根据你选择的模型能力自动处理:
| 模型能力 | RikkaHub 处理方式 |
|---|---|
| ✅ 支持视觉输入(GPT-4o / Gemini / Claude) | 图片编码为 base64 直接传给模型 |
| ❌ 不支持视觉(GPT-4 / Claude 3.5 Haiku 等) | 自动用 OCR 模型提取文字,把文字注入消息 |
| ✅ 支持文档处理 | 文档文本直接提取注入(所有模型通用) |
支持的文件类型
图片
任何 Android 能识别的图片格式。附加后:
- 标签上显示缩略图,发送前确认没选错
- 如果模型支持视觉 → base64 直接传
- 如果模型不支持视觉 → 自动 OCR 降级
文档
| 格式 | 扩展名 | 处理方式 |
|---|---|---|
.pdf | 文本提取注入 | |
| Word | .docx | 文本提取注入 |
| PowerPoint | .pptx | 文本提取注入 |
| 电子书 | .epub | 文本提取注入 |
不支持 .doc(旧版 Word)、.xls(旧版 Excel)、.ppt(旧版 PowerPoint)等。
大文档的风险
提取后的完整文本会注入到模型的上下文窗口中。几百页的 PDF 很容易超出 8k token 窗口。收到上下文长度报错时:
- 试试支持更长上下文的模型(128k+)
- 或把文档拆成小章节逐段发送
如何附加文件
点击聊天输入栏左侧的 + 按钮(添加附件),选择:
| 方式 | 说明 |
|---|---|
| 相机 | 当场拍照,图片自动保存并附加 |
| 相册 / 文件 | 从设备选一张或多张图片 / 文档 |
| 剪贴板粘贴 | 复制图片后在输入框里粘贴,自动识别附加 |
| 从其他应用分享 | 用 Android 分享功能直接分享到 RikkaHub |
已附加的文件以标签形式显示在输入框上方。点击标签上的 × 可以移除。
OCR 降级详解
OCR 降级是 RikkaHub 最聪明的设计之一——让不支持视觉的模型也能"看"图。
配置 OCR 模型
- 打开 设置 → 模型
- 设置一个 OCR 模型——从你已配置的提供商中选一个支持视觉的模型
- 速度快、成本低的视觉模型即可(比如 GPT-4o-mini 也有视觉能力)
OCR 流程
你附加了一张图片 →
发送消息时,RikkaHub 检查当前聊天模型是否支持视觉 →
✅ 支持 → 图片编码为 base64,直接传给主模型
❌ 不支持 → RikkaHub 把图片发给 OCR 模型(你配置的视觉模型) →
OCR 模型转录文字 →
转录后的文字注入到你的消息开头 →
主模型收到的是文字描述(而不是图片)
OCR 缓存
OCR 结果会缓存最多三天。同一张图片如果在三天内重复发送,RikkaHub 直接复用缓存的文字,不会再次调用 OCR 模型——节省成本和时间。
OCR 提示词自定义
可以在 设置 → 模型 → OCR 提示词 里自定义 OCR 模型的指令,比如:
- "请保留表格结构"
- "仔细转录手写内容"
- "识别图中所有文字,包括角落小字体"
文件大小注意事项
- 图片大小:大图片 base64 后会显著增加 Token 消耗,发送前可以缩小
- 文档长度:几百页 PDF 会超出标准 8k token 窗口
- 模型能力:不是所有服务商都开放了视觉 API——确认服务商文档
典型用法
用法 1:把截图发给不支持视觉的模型
你用的是便宜的纯文本模型,拍了一张报错截图。附加后 RikkaHub 自动 OCR,模型能"读到"截图里的文字。
用法 2:对 PDF 提问
附加一份 PDF,让 AI "总结这份报告的核心观点"。RikkaHub 自动提取 PDF 文本注入消息。
用法 3:翻译 Word 文档
附加 .docx 文件,让 AI "把这份文档翻译成英文,保留格式"。
RikkaHub 对用户隐私的影响
多模态输入涉及敏感信息的情况:
- 图片会被 base64 编码后发给模型(不压缩、不额外存储)
- 文档文本被提取后注入消息(提取结果不额外持久化)
- OCR 调用会把图片发送给你配置的 OCR 模型提供商
- 所有这些都发生在你指定的模型提供商,RikkaHub 不存储中间数据