Omnious

本内容由 RD AI 生成，仅供参考

Omnious 是一个基于 LLM 推理的询价市场。运行开放权重模型（例如 Llama、Qwen、DeepSeek 和 Mistral）的公司会将已签名的报价流传输到路由器。当用户发送查询时，路由器会对所有实时报价进行竞价，将用户的请求授予价格和延迟最优的出价，并将回复流式传输回服务器。支付方式采用 USDC，并为生产代理提供预付费额度：一次性充值，然后x-credit-key每次请求都进行有界负载授权。