Shimmy──无需 Python 的 Rust 推理服务器

作者：poctopus 发布：2025-09-16 1074℃ 0条

Shimmy：轻量、免费、强大的本地 AI 推理服务，推理库比 Ollama 小 100 倍、启动快 50 倍、内存小 4 倍！支持 OpenAI API 兼容性、自动发现模型、热模型切换和 LoRA 适配器。

####核心亮点
- 超轻量：相比 Ollama 的 680MB，Shimmy 只有 5.1MB，启动时间不到 100 毫秒，内存占用不到 50MB。
- 即插即用：无需复杂配置，自动发现模型（支持 Hugging Face、Ollama 或本地目录的 GGUF 模型），自动分配端口，避免冲突。
- OpenAI API 兼容：100% 兼容 OpenAI API，能无缝对接 VSCode Copilot、Cursor、Continue. dev 等开发工具。
- 隐私与成本：完全本地运行，数据不出你的电脑，没有按 token 计费的成本，查询无限制。
- LoRA 支持：从训练到生产，30 秒内即可通过 LoRA 适配器增强模型，灵活高效。
- 跨平台：支持 Linux、macOS 和 Windows。

####为什么选择 Shimmy？
Shimmy 的设计理念是“基础设施应该是隐形的”，它希望开发者专注于开发，而不是配置复杂环境。相比其他工具（如 Ollama 或 llama.cpp），Shimmy 在以下方面更胜一筹：
- 更小的体积：5.1MB vs. Ollama 的 680MB。
- 更快启动：不到 100 毫秒 vs. 5-10 秒。
- 更低内存占用：50MB vs. 200MB+。
- 更简单的使用体验：零配置、自动发现模型、动态端口管理。

####适合谁用？
- 开发者：如果你用 VSCode、Cursor 或 Continue. dev，Shimmy 能无缝集成，让你快速调用本地 AI 模型。
- 隐私敏感用户：数据完全本地处理，适合对隐私要求高的场景。
- 预算有限团队：免费且无限制的查询，适合个人开发者或小型团队。
- LoRA 爱好者：支持快速训练和部署 LoRA 适配器，适合实验和生产环境。

####技术架构
- Rust + Tokio：内存安全，异步高性能。
- llama.cpp 后端：使用业界标准的 GGUF 模型推理框架。
- 动态端口管理：避免端口冲突，零配置启动。
- WebSocket 支持：提供流式生成，适合实时应用。

```csharp
https://github.com/Michael-A-Kuykendall/shimmy
```

标签: rust, Shimmy, python, ollama

非特殊说明，本博所有文章均为博主原创。

如若转载，请注明出处：https://www.aladown.com/archives/Shimmy-%E6%97%A0%E9%9C%80-Python-%E7%9A%84-Rust-%E6%8E%A8%E7%90%86%E6%9C%8D%E5%8A%A1%E5%99%A8.html

上一篇一键安装Linux内核并开启BBR或者BBR Plus

下一篇 Winsock Packet Editor——一款可以拦截并修改 WinSock 封包的 Windows 软件

评论已关闭

一	二	三	四	五	六	日
◄ ►
			1	2	3	4
5	6	7	8	9	10	11
12	13	14	15	16	17	18
19	20	21	22	23	24	25
26	27 1	28	29	30	31

农业部 4800 upload SVG 甲虫开心版 resolve TVBOX 轻量级国际惯例 CF credssp 营销主机名 GOOGLE CHROME 内网穿透 SOC2 登录 Icreo Glico 纽曼斯 nodecache BYPASSNRO 更改主机名安卓敏感字通信局写盘工具电视机全量备份美行 email Netflix 视频号 FACEBOOK 自动订阅 MPG IOS 14.2 AMD SPAM OSD 中国银行 FileStream 小米澎湃 Coupon Code CSV to Excel geoip warp 搭建 strongsan Send-MailMessage 网络层写盘 TYPE II CDN 编码 allocate memory homeproxy hostname OFFICE GITHUB NextTrace LLM life's DHA 优惠代码内网艳照联通plus Morinaga TIMESTAMPS webchat Subfolder 招聘 ipset s s h 虚拟主机 chromedriver 马泰克美版 GOOGLE WAN6 夏季减肥强制启动 ACDSEE VIDEO 化妆品 RECORDER 酸酸稳定版流媒体网盘 TCP 三聚氰胺 dante-server http Snow Baby 内网共享屏蔽共享 SSD PowerShell 日本

暂无动态

Shimmy──无需 Python 的 Rust 推理服务器

评论已关闭

日历

栏目分类

标签云

博主动态 ~

Shimmy──无需 Python 的 Rust 推理服务器

评论已关闭

日历

 栏目分类

标签云

博主动态 ~

日历

栏目分类

标签云

博主动态 ~