AI 资讯站

前沿资讯 · 免费羊毛 · 开源热点

← 返回榜单
vllm-project

vllm-project / vllm

AI 摘要高吞吐、低显存的大语言模型推理与服务引擎,支持多种主流模型。

A high-throughput and memory-efficient inference and serving engine for LLMs

AI与大模型amdblackwellcudadeepseekdeepseek-v3gptgpt-ossinference
Python9.2万2.3万创建于 3 年前更新于 5 小时前

今日增量

暂无数据

近 7 天增量

暂无数据

近 30 天增量

暂无数据

目前只有一天的数据,明天开始就能看到增长曲线。

替代关系Jev 决策模型判定 · 仅供参考

常搭配使用它可能替代了 ←huggingface/transformers16.7万★ · 概率 95%
常搭配使用可能被它替代 →Significant-Gravitas/AutoGPT18.8万★ · 概率 75%
常搭配使用可能被它替代 →NousResearch/hermes-agent24.8万★ · 概率 71%

首次收录于 4 小时前 · 最近记录 4 小时前 · 共 1 天快照