最高第 1 名 现在第 1 名
DeepSeek开源自研推理框架DeepInfer
DeepSeek官方宣布开源自研推理框架DeepInfer,支撑V4.1-Flash大规模高吞吐低延迟运行,意在降低算力成本。
要点
- DeepSeek 以 Apache-2.0 许可开源了其自研推理框架 DeepInfer。
- DeepInfer 以高吞吐、低延迟支撑大规模运行的 DeepSeek-V4.1-Flash。
- @vllm_project 表示 DeepInfer 最初主要基于 vllm_project 构建,并致谢开源社区。
- 原推作者表示,未来 DeepSeek 模型的推理代码和后续优化也将发布在这里。
要点和反应摘要由 AI 依据本页推文整理,请以原推为准。 我们怎么用 AI
原推
🚀 Introducing DeepInfer, our in-house inference framework, now fully open source!
Powering DeepSeek-V4.1-Flash at scale with high throughput and low latency. We’re sharing our production stack to help the community lower compute costs, reduce energy use, and make AI more affordable.
🔗 https://t.co/JGAik1kgk0
1/4
同一事件,其他人怎么说
2 条-
Tianyi Cui @tianyi 1,100
Tianyi Cui称DeepSeek以Apache-2.0开源大规模推理框架DeepInfer,支持优化内核、MoE并行、确定性采样和结构化输出。
在 X 上查看 -
vLLM感谢DeepSeek以Apache 2.0开源基于vLLM的DeepInfer推理框架,并称将借鉴其改进V4.1 Flash推理效率。
在 X 上查看
X 上的热门回复
X 上的反应: 回复几乎一边倒地叫好,有人称 DeepSeek 不断把成果开源,也有人借此对比 OpenAI 的闭源。原推作者在后续回复中补充了 DeepInfer 的技术细节。
讨论 0
注册 登录 后参与讨论
还没有人讨论,来说第一句。