Shimmy──无需 Python 的 Rust 推理服务器

poctopus 2025-09-16 PM 6℃ 0条

Shimmy：轻量、免费、强大的本地 AI 推理服务，推理库比 Ollama 小 100 倍、启动快 50 倍、内存小 4 倍！支持 OpenAI API 兼容性、自动发现模型、热模型切换和 LoRA 适配器。

####核心亮点
- 超轻量：相比 Ollama 的 680MB，Shimmy 只有 5.1MB，启动时间不到 100 毫秒，内存占用不到 50MB。
- 即插即用：无需复杂配置，自动发现模型（支持 Hugging Face、Ollama 或本地目录的 GGUF 模型），自动分配端口，避免冲突。
- OpenAI API 兼容：100% 兼容 OpenAI API，能无缝对接 VSCode Copilot、Cursor、Continue. dev 等开发工具。
- 隐私与成本：完全本地运行，数据不出你的电脑，没有按 token 计费的成本，查询无限制。
- LoRA 支持：从训练到生产，30 秒内即可通过 LoRA 适配器增强模型，灵活高效。
- 跨平台：支持 Linux、macOS 和 Windows。

####为什么选择 Shimmy？
Shimmy 的设计理念是“基础设施应该是隐形的”，它希望开发者专注于开发，而不是配置复杂环境。相比其他工具（如 Ollama 或 llama.cpp），Shimmy 在以下方面更胜一筹：
- 更小的体积：5.1MB vs. Ollama 的 680MB。
- 更快启动：不到 100 毫秒 vs. 5-10 秒。
- 更低内存占用：50MB vs. 200MB+。
- 更简单的使用体验：零配置、自动发现模型、动态端口管理。

####适合谁用？
- 开发者：如果你用 VSCode、Cursor 或 Continue. dev，Shimmy 能无缝集成，让你快速调用本地 AI 模型。
- 隐私敏感用户：数据完全本地处理，适合对隐私要求高的场景。
- 预算有限团队：免费且无限制的查询，适合个人开发者或小型团队。
- LoRA 爱好者：支持快速训练和部署 LoRA 适配器，适合实验和生产环境。

####技术架构
- Rust + Tokio：内存安全，异步高性能。
- llama.cpp 后端：使用业界标准的 GGUF 模型推理框架。
- 动态端口管理：避免端口冲突，零配置启动。
- WebSocket 支持：提供流式生成，适合实时应用。

```csharp
https://github.com/Michael-A-Kuykendall/shimmy
```

标签: rust, Shimmy, python, ollama

非特殊说明，本博所有文章均为博主原创。

如若转载，请注明出处：https://www.aladown.com/archives/Shimmy-%E6%97%A0%E9%9C%80-Python-%E7%9A%84-Rust-%E6%8E%A8%E7%90%86%E6%9C%8D%E5%8A%A1%E5%99%A8.html

上一篇一键安装Linux内核并开启BBR或者BBR Plus

下一篇没有了

评论已关闭

一	二	三	四	五	六	日
◄ ►
1	2 1	3 1	4 1	5	6	7 1
8	9 1	10	11	12	13 2	14 1
15 2	16 4	17	18	19	20	21
22	23	24	25	26	27	28
29	30

河蟹国 postgres 贝康安 FlexNet SERVER Similac 特价企业微信看图面板 webchat office 16 5355 R7 视频剪辑直邮 upload file ocserv 开源一条网线 Debian 婴儿奶粉 MANGODB SSH IMDB 原装进口 Z-Library 百度网盘提高农业部 apache GFW清单 mac CSV lean o c r chatgpt 电信资费 excel 食品 HEIF 三聚氰胺二十二碳六烯酸软胶囊反编译 LOG 卸载艳照门 SQL LOVO 尿素 TYPE II 网络安全 HTTP服务 docker-compose KVM 导航进口 Netflix REPAIR BYPASSNRO ymt 轻量应用服务器 reinstall 监控关键字 medium GITHUB LABVIEW APPLE 蓝牙小内存主机名 FACEBOOK 美国邮政强制启动腾讯地图 Protection HCDN yum 酸酸乳 USB设备售价 mongo MP4 IPV4 子目录北影另存为国家电网 ln 国际域名原箱转运文本文件 SCHEDULER 网络包测试 tar LLM 真假鉴别端口转发 cloudpods

Shimmy──无需 Python 的 Rust 推理服务器

评论已关闭

日历

栏目分类

标签云

Shimmy──无需 Python 的 Rust 推理服务器

评论已关闭

日历

 栏目分类

标签云

日历

栏目分类

标签云