表现
RD 热度指数
RD 增长指数
对比
关注更新
关注列表
人物
关于Inference
Inference.net运营一个专用于LLM推理的分布式GPU集群，提供按需计算，无需长期合同。其核心业务是提供同步、批处理和异步三种推理模式，其中异步模式通过利用空闲GPU容量，价格约为同步模式的10%。平台还包含Catalyst套件，提供可观测性、评估和微调功能，并配有CLI工具实现工作流自动化。
其核心竞争力在于通过空闲容量利用降低成本，以及将追踪、评估和模型调优整合为统一工作流。叙事重点在于让LLM推理尽可能便宜高效，尤其针对高吞吐或延迟容忍型工作负载。市场痛点明确：GPU成本居高不下，行业平均利用率仅15-40%，且现有工具分散在不同厂商。
近半年（2026-03-01至2026-09-01），Inference.net于3月推出Catalyst平台，4月发布CLI，5月上线异步请求功能，7月增加微调能力，8月开源部分组件。一个值得注意的负面信息是：2025年有用户报告GPU供应波动导致推理延迟飙升，但并非普遍现象。
Inference成立于2023年，总部位于旧金山，专注于构建用于LLM推理和定制模型训练的分布式GPU基础设施。2025年10月，公司完成1180万美元种子轮融资，由Multicoin Capital和a16z CSX领投，Topology Ventures、Founders, Inc.及多位天使投资人参与。该资金支持其使命：帮助AI原生企业减少对前沿实验室的依赖，通过部署更小、任务特定的模型，以显著更低的成本和延迟实现可比性能。Inference平台提供端到端模型生命周期管理——训练、部署、可观测性和评估——声称相比通用API可降低高达90%成本并提升2-3倍推理速度。公司瞄准生产工作负载，提供运行在客户可控环境中的基础设施以保障数据隐私。此轮种子融资标志着专业推理基础设施市场验证的关键节点，使Inference在快速演进的AI基础设施层中占据竞争地位。
Inference（inference.net）近半年（2026-03-01 至 2026-09-01）取得多项重要进展，核心围绕其持续优化平台与专用模型系列。
重要进展包括：推出 AutoEvals 工具，利用生产流量自动评估和对比 LLM 性能，实现数据驱动的模型选择；发布 Schematron V2 系列，专攻 HTML 到 JSON 提取，在单张 H100 上实现每秒 4.14 次请求的吞吐量，较前代显著提升。客户案例方面，Gravity Ads 通过微调 1B 参数模型替代通用 70B 模型，推理成本降低 10 倍，p99 延迟改善 5.7 倍，验证了平台的生产数据训练闭环。
官方公布的未来重心包括：深化生产数据驱动的自动训练与评估循环；强化 Catalyst 平台的端到端模型生命周期管理；开发 Schematron Pro 以在保持吞吐的同时追求更高提取质量；持续降低训练成本并缩短实时流量到模型迭代的距离，使更多团队能受益于专用模型的成本与性能优势。
Sam Heutmaker（创始人兼CEO）：曾创立多家初创公司，包括Leap（任CTO，用户规模达12万）和Ultramail（联合创始人，用户规模达10万）。曾在Crowe担任高级软件工程师。具有构建AI原生产品和分布式系统的背景。
Ibrahim Ahmed（联合创始人兼CTO）：曾在Founders, Inc.担任创始工程师和工作室创始人。作为技术负责人，具有孵化AI初创公司的经验。擅长模型训练和专用语言模型。