QQ机器人的模型与 AI 笔记

思考档位影响什么

• 档位只影响”想多久”，不影响模型本身、人格、知识与工具能力。
• 档位高：复杂推理更稳，但输出 token 大幅增加，单次调用更慢。
• 档位低：闲聊、查资料、按格式输出几乎无感，速度明显变快。
• 折中玩法：平时低档，遇到排查、算账、改配置这类”硬活”再临时切高。

实测数据（供参考）

• 单次对话调用平均约 44 秒，最快 10.8 秒、最慢 139 秒。
• 工具执行本身是毫秒级：脚本启动十几毫秒、数据库查询 1 毫秒、 日志检索几毫秒、本地面板往返 10 毫秒内。
• 每轮上下文约 6K 到 14K token，占上限约 1%。
• 结论：慢主要来自输出长度与工具轮次，不是网络。

模型选型教训

• 别用带思考的模型干小事：把情绪关键词提取交给带推理的模型， 单次耗时从 4 到 8 秒涨到 336 秒（约 5 分 36 秒），慢了三十倍以上。
• 提关键词这类活，选不带推理的小模型更合适。
• 模型 ID 必须写全：漏掉提供商前缀会直接返回”模型不存在”。

向量模型与记忆

• 记忆检索依赖向量模型，必须挂在”向量/embedding”类型的提供商上， 挂到”对话补全”类型的源上会报模型不存在（其实是类型不对）。
• 每轮检索最多注入若干条记忆，检索结果会作为背景注入对话。
• 记忆库按会话隔离时，跨群不共享；需要跨群共享要改作用域设置。