ZBStream

多轮对话

Chat Completions API 本身无会话状态。客户端需要在每次请求中携带希望模型继续参考的历史消息。

拼接消息历史

const messages = [
  { role: "system", content: "你是一个简洁的技术助手。" },
  { role: "user", content: "什么是 API 网关？" },
  { role: "assistant", content: "API 网关是统一的请求入口。" },
  { role: "user", content: "它如何做鉴权？" }
]

上下文管理

  • 只保留完成当前任务所需的历史。
  • 长会话可先摘要再继续，避免上下文无限增长。
  • 服务端记录用量，不替客户端永久保存完整会话。