product / rust ai gateway

Xiaomaolv 小毛驴

面向真实部署的 Rust AI 网关。接入 Provider、选择通道,再用流式回复、可扩展插件和本地友好的运行模式快速发布。
Provider 抽象

MiniMax / OpenAI / Compatible

通道模式

Telegram Polling + Webhook

记忆

SQLite + Hybrid Sidecar

为什么选择这个网关

Rust 性能
适合低延迟消息路由,也更容易预期运行时行为。
流式体验
Telegram 回复可以增量输出,用户不用等完整答案生成完。
本地友好
Polling 模式适合本地运行,减少 webhook 配置成本。
记忆可渐进
先用 SQLite-only 记忆,需要检索能力时再接入混合方案。
插件式扩展
Provider 和 Channel 都有注册表,方便后续接入新能力。
快速验证
用脚本跑起 MiniMax + Telegram,先把真实链路打通。
Provider 层
把任意 OpenAI 兼容端点接入统一 Provider 接口,不用改通道逻辑。
Channel 层
通过 HTTP 或 Telegram 路由消息,支持 polling/webhook 运行模式和流式输出。
Memory 层
先用简单的 SQLite-only 记忆,场景变复杂后再用 zvec sidecar 扩展检索策略。

快速开始流程

推荐从 MiniMax + Telegram 开始。配置两个环境变量,运行一个脚本,就可以和你的 Bot 对话。

$ cp .env.realtest.example .env.realtest
$ # 填写 MINIMAX_API_KEY + TELEGRAM_BOT_TOKEN
$ ./scripts/run_mvp_minimax_telegram.sh
$ curl -sS http://127.0.0.1:8080/health

常见问题

更快搭起 Bot 基础设施

如果你需要一个实用、可扩展的 Rust AI 通道基础,xiaomaolv 可以作为你的控制平面。