03
uzu trymirai/uzu
⭐ 2,999 · 近 30 天 +1,096(本周 +509)
Rust · MIT
最近提交 10-29 · v0.6.13(10-22)· 建仓 2025-06-23
定位直接嵌进应用的推理引擎,Rust 核心配 Python、TypeScript 与 Swift 绑定,靠 Apple 统一内存跑本地模型。
痛点把模型放进应用,要么走云接口按次付费、数据出设备,要么自己拼推理框架和各语言胶水,还要自己保证与参考实现一致。
付费要加端侧 AI 能力的应用与设备厂商;引擎 MIT 开源,包已发到 npm 与 PyPI,商业许可与支持走邮件联系,价格未公开。
规模化端侧推理需求横跨 iOS 与 macOS 应用,模型配置统一之后,接新模型就是加一份配置。
边际成本低 · 推理在用户设备上发生,新增用户不带来服务端开销。
验证uv add uzu==0.6.13,再按 README 用 cargo run --release -p cli -- server --model trymirai/Qwen3.5-4B-M 起本地接口,然后 curl http://127.0.0.1:8000/v1/chat/completions 打一发。
风险平台覆盖以 Apple 为主,Windows 与 Linux 目标在 README 里标着进行中;本地服务要从源码构建,非 Apple 环境的体验还不完整;端侧模型能力上限受设备内存约束。
加权 4.2
04
open-compute elliothux/open-compute
⭐ 2,400 · 近 30 天 +1,977
Rust · Apache-2.0
最近提交 10-28 · v0.3.0(10-10)· 建仓 2026-08-23
定位一个二进制把 Workers、KV、D1、R2、队列、工作流与定时任务这一整套编程模型搬到自己的一台机器上。
痛点workerd 只给运行时,多租户路由、持久状态、调度与发布生命周期都要自己补;想省掉 Workers 的按量账单又不想换掉这套写法。
付费有数据落地要求或成本压力的自建团队,省下的是按请求与存储计的账单;项目本身 Apache-2.0 免费,没有公开定价。
规模化在自有机器上跑边缘函数(内部集成、CI 钩子、智能体工具接口)的需求同构,交付是一个文件加一个数据目录。
边际成本低 · 单机进程里起隔离实例,毫秒级启动,不需要 Kubernetes、Redis 与 Postgres 那一串。
验证curl -fsSL https://open-compute.dev/install.sh | sh,再 ocd status 看实例状态。
风险建仓两个月、2 位贡献者、Cloudflare 兼容面按官方不支持清单收窄,命令行客户端钉在 1.0.0-beta.12 上;放进生产要自己承担与 Cloudflare 的行为差异,缺人接手是长期风险。
加权 4.0
05
FreeVideo FlashML-org/FreeVideo
⭐ 2,421 · 近 30 天 +2,297
Python · Apache-2.0
最近提交 10-29 · v0.4.24(10-29)· 建仓 2026-09-13
定位桌面端本地视频生成,8 GB 显存加 16 GB 内存就能跑 MiniMax H3,带四档质量、半分辨率预览与时间线编辑。
痛点云端视频生成按条或按秒计费,素材与提示词要出本机,批量出片的成本压不下来。
付费内容团队、电商与独立开发者;客户端免费开源,价值就是省下的云端生成账单,成本差本身即报价。
规模化视频生成的需求普遍,一次安装覆盖个人与团队,模型换代不必重做交付。
边际成本低 · 推断在用户自己的显卡上,项目侧不承担算力。
验证从 releases 直接下安装包(releases/latest/download/FreeVideo.exe),打开后用默认设置出一条短视频。
风险依赖 MiniMax H3 的权重与第三方推理链路,商用前要自行核对模型许可;350 个未关闭 issue 说明需求远超维护带宽;桌面形态在企业批量与协作上偏弱。
加权 4.4