LEION · DAILY GITHUBNO.31 · 2026-10-26 · 1014 GMT+8

推理、记忆与数据库的计价单位被压到单个实例

DeepSeek 开源生产环境用的离线推理引擎 DeepInfer,Comp AI 把 CRM 做成 agent 自己的作业本,Infinity v3 用一个 Rust 进程同时服务多个向量模型,Omnigraph 把多个 agent 的共享记忆放进对象存储,PGX 让一个进程装下几千个 Postgres;共同点是把按机器、按席位收的钱改成按单个实例收。

日期2026-10-26
条目5
配比主流 2 · 小众 3
数据GitHub API 当天实测
今日视角

今天这五个项目都在把「一份算力、一份数据、一个模型」拆成互不打扰的独立单位:推理引擎把批调度的开销压到零,数据库小到按需分配、毫秒建库,agent 的共享上下文落进对象存储,向量服务一个进程载多个模型。单位切小之后,账单才有按实例、按分支、按吞吐计价的空间。

MAINSTREAM主流视野
01

DeepInfer deepseek-ai/DeepInfer

⭐ 22,448 · 近 30 天 +22,454 Python · Apache-2.0 最近提交 10-25 · 无 release

定位DeepSeek 官方开源的生产推理框架,本次开放离线推理,只支持 V4.1-Flash;自研内核(FlashMLA、DeepGEMM、DeepEP、TileKernels)加专家并行与 EPLB,配零开销批调度与确定性采样。

痛点跑大体量离线推理(合成数据、蒸馏、评测),要么按 token 买 API,要么自己把推理引擎调到千卡可用;MoE 通信与长上下文解码的开销是自建的门槛。

付费代码 Apache-2.0,收入仍在 DeepSeek 自家 API 与私有化部署;对买方是「自建替代按 token 计费」的成本差,官方给出的是 SM100 级集群上的 prefill 与 decode 基准。

规模化合成数据、蒸馏与离线评测是跨行业同构需求,交付物就是代码与镜像。

边际成本低 · 纯软件,算力成本落在客户自己的卡上。

验证git clone https://github.com/deepseek-ai/DeepInfer && cd DeepInfer && export DEEPINFER_ACCELERATOR=nvidia && ./build.sh,再跑 python examples/offline_inference.py;前置为 Python 3.12、CUDA 13、GCC 13,首次运行拉 V4.1-Flash-1017 权重。

风险10-16 建库、无 release、只开源离线推理,在线服务未开放;206 个 open issue;CUDA 13 与 SM100 级显卡把验证成本抬高;权重目前只有 V4.1-Flash 一个型号。
商业化
4
规模化
5
边际成本
5
验证速度
3
成熟度
4
加权 4.3
02

Comp AI CRM trycompai/crm

⭐ 11,675 · 近 30 天 +10,631 TypeScript · MIT 最近提交 10-23 · v1.16.0(10-22)

定位把 agent 放在主位的开源 CRM:agent 跑在自己的部署上、按自己的工作队列排期,自己决定查什么、记跟进并留出研究预算,关掉浏览器照样跑,CRM 只是它记笔记的地方。

痛点多数 CRM 是数据库加表单,AI 版把聊天框钉在旁边,找事实与写记录仍靠人;让模型给自己的结论打置信度,等于把不确定写进客户档案。

付费自托管免费(MIT);托管版在 trycrm.ai,公开价格未获取到(定价页需登录);竞争点是替掉按席位计费的 CRM 与销售自动化工具。

规模化销售记录、客户研究与跟进跨行业同构,自托管一套 compose 就能起全套。

边际成本中 · 代码零成本,agent 每次研究要烧模型 token;云版按客户数摊运维。

验证git clone https://github.com/trycompai/crm.git && cd crm && cp .env.example .env && bun install && docker compose up -d && bun run db:deploy && bun run dev,应用起在 localhost:3000;需要 Bun 与 Docker。

风险登录走 Google OAuth,自托管要自建 OAuth 客户端才进得去;21 个 open issue,v1.16.0 于 10-22 发布;开源自托管与云版的功能边界未公开;agent 会自动改客户数据,证据不足的结论只落成建议。
商业化
4
规模化
4
边际成本
4
验证速度
4
成熟度
4
加权 4.0
NICHE小众切口
03

Infinity v3 michaelfeil/infinity

⭐ 2,968 · 近 30 天未获取到 Rust · MIT(v3 原生服务另附受限许可) 最近提交 10-26 · v3.0.0-alpha.9(10-20)

定位embedding、重排、分类与决策模型的专用服务;v3 用 Rust 与 LibTorch 重写原生服务,一个进程同时载多个模型,对外只暴露一套 REST 接口。

痛点检索与重排按 token 买 API(text-embedding-3、Cohere、Voyage 都按量计费),数据出内网要另做评估;自己用 Python 起服务,多模型并发与延迟难压。

付费开源免费(v2 的 Python 包为 MIT),钱来自替掉按 token 计费的向量与重排 API 所形成的成本差;官方没有托管版,也没有公开的支持合同。

规模化凡是自建 RAG 与检索的团队都要这一层,换模型不改接口,交付就是 Docker 镜像。

边际成本低 · 纯软件,算力成本转到客户自己的卡。

验证docker run --rm --gpus all -p 8000:8000 -v infinity-cache:/data ghcr.io/michaelfeil/infinity_v3:nvidia-3.0.0 --model-id sentence-transformers/all-MiniLM-L6-v2 --torch-device cuda --dtype bfloat16 --hostname 0.0.0.0 --port 8000,需要 SM80 及以上显卡与 NVIDIA Container Toolkit。

风险v3 仍是 alpha(10-20 一次连发三个 alpha),152 个 open issue;v3 原生服务走「Infinity Restricted MIT 1.0」,附录 A 名单内的服务商(含 Modal、Nebius、Voyage)被禁止任何用途,部署前要读许可;2023 年建库,近 30 天增量未获取到。
商业化
4
规模化
4
边际成本
5
验证速度
4
成熟度
3
加权 4.1
04

Omnigraph ModernRelay/omnigraph

⭐ 1,754 · 近 30 天 +616 Rust · MIT 最近提交 10-26 · edge-20261024(10-24)

定位跑在对象存储上的图数据库,数据落成 Lance 文件,带类型本体与 Git 式分支;一次查询里同时做图遍历、向量召回与全文检索,给长期运行的 agent 当共享世界模型。

痛点多个 agent 协作时上下文散在各自的向量库里,改动不能评审也不能回滚;专有图库要把数据搬进它的存储,迁出成本高。

付费开源 MIT;钱在 Omnigraph Cloud,每个组织一个专属集群,含托管存储、备份、压缩与 SSO、策略、审计,目前私有预览、走等待名单,价格未公开。

规模化agent 记忆与共享上下文是通用层,类型本体可跨客户复用,存储由客户自备。

边际成本低 · 存储与算力在客户侧,软件交付没有边际成本。

验证curl -fsSL https://raw.githubusercontent.com/ModernRelay/omnigraph/main/scripts/install.sh | bash 装好 CLI 与 omnigraph-server,或 brew install ModernRelay/tap/omnigraph,再按仓库 docs/user/quickstart.md 起本地实例。

风险129 个 open issue,release 是滚动 edge 标签(edge-20261024),没有稳定版本号;云版还在等待名单,定价与 SLA 未知;写入前要先建类型本体,schema 建模有学习曲线。
商业化
4
规模化
5
边际成本
5
验证速度
4
成熟度
3
加权 4.4
05

PGX pgrundev/pgx

⭐ 474 · 近 30 天 +474 Rust · AGPL-3.0 最近提交 10-25 · v0.1.0(10-21)

定位Rust 写的轻量 Postgres 运行时,一个进程里放几千个隔离数据库;空闲库只占几十 KB、毫秒级从模板建库,靠写时复制的文件系统做克隆,讲 Postgres 线协议与 SQL 方言。

痛点agent 沙箱、CI 与每个 PR 都想要一份数据库,按实例开 Postgres 要一个进程加几十 MB,冷启动还慢;预览用的库开完就该扔。

付费引擎开源免费(AGPL-3.0),钱在上层 PGRun 分支服务:算力 $0.086 / 分支·小时(按秒计),存储 $0.32 / GB·月,beta 期免费并送 10 美元额度。

规模化CI、预览环境与 agent 沙箱是同一需求,与 Postgres 兼容,Rails、Django、Prisma、SQLAlchemy 不用改代码。

边际成本低 · 空闲库几十 KB,建库毫秒级,纯软件。

验证npx pgxdb@latest 一条命令装好、起库并打印连接串;官方注明用于可弃数据库,不要放生产数据。

风险10-08 建库、只有 v0.1.0 与 474 星;AGPL-3.0 会拦住闭源产品直接集成;分支克隆靠写时复制的文件系统,普通文件系统上是全量复制;沙箱数据不做生产用途。
商业化
4
规模化
4
边际成本
5
验证速度
5
成熟度
3
加权 4.3

今日首选

DeepInfer(deepseek-ai/DeepInfer)。它是今天影响面最大的一条:DeepSeek 把自己的生产推理栈开源,离线批量推理(合成数据、蒸馏、离线评测)立刻能省掉按 token 计费的部分。9 天 22,448 星、Apache-2.0、官方维护,代价是验证门槛在 CUDA 13 与 SM100 级显卡上。

组合观察

五条里有三条在缩小「一份运行」的边界:PGX 一个进程装几千个库、Infinity 一个进程载多个模型、Omnigraph 把共享上下文放进对象存储,DeepInfer 则把批调度的开销压到零;买方拿到的是按单个实例、单条分支、单次批推理付费的空间,而不是按机器与席位。另一件值得记的事:具身与仿真侧的近 30 天增量本期普遍平淡,这条线今天不占位。

暂不建议碰

  1. Gathin23/cleanyourtv(35,413★ · 2026-10-17 建库 · Java · MIT)· 对任意 Android 与 Google TV 无线去广告,换成 tvOS 风格的桌面。9 天涨到 3.5 万星,但它跑在用户自己的电视上,没有云端交付、没有付费主体,适配依赖各家系统与无线调试权限,规模化与边际成本优势都无从体现。
  2. Zagitta/gpu-unlock(6,942★ · 2026-10-18 建库 · C · 无 License)· 把消费级 Nvidia 3000 系显卡的 FP 与 BF16 指令发射率解锁到专业卡水平。踩两条线:仓库没有 License 文件,默认保留全部权利,商用集成无处可依;改的是消费卡的运行限制,用进数据中心属于厂商许可与保修之外的用法。