NoFOMO
搜索 中EN 登录 注册

最高第 1 名 现在第 1 名

DeepSeek开源自研推理框架DeepInfer

DeepSeek官方宣布开源自研推理框架DeepInfer,支撑V4.1-Flash大规模高吞吐低延迟运行,意在降低算力成本。

名次变化

要点

  • DeepSeek 以 Apache-2.0 许可开源了其自研推理框架 DeepInfer。
  • DeepInfer 以高吞吐、低延迟支撑大规模运行的 DeepSeek-V4.1-Flash。
  • @vllm_project 表示 DeepInfer 最初主要基于 vllm_project 构建,并致谢开源社区。
  • 原推作者表示,未来 DeepSeek 模型的推理代码和后续优化也将发布在这里。

要点和反应摘要由 AI 依据本页推文整理,请以原推为准。 我们怎么用 AI

原推

DeepSeek @deepseek_ai 116.8万 粉丝

🚀 Introducing DeepInfer, our in-house inference framework, now fully open source! Powering DeepSeek-V4.1-Flash at scale with high throughput and low latency. We’re sharing our production stack to help the community lower compute costs, reduce energy use, and make AI more affordable. 🔗 https://t.co/JGAik1kgk0 1/4
4,808点赞 569转发 294回复 16万浏览

在 X 上查看 收藏

同一事件,其他人怎么说

2 条
  1. Tianyi Cui @tianyi 1,100

    Tianyi Cui称DeepSeek以Apache-2.0开源大规模推理框架DeepInfer,支持优化内核、MoE并行、确定性采样和结构化输出。

    在 X 上查看
  2. vLLM @vllm_project 73

    vLLM感谢DeepSeek以Apache 2.0开源基于vLLM的DeepInfer推理框架,并称将借鉴其改进V4.1 Flash推理效率。

    在 X 上查看

X 上的热门回复

X 上的反应: 回复几乎一边倒地叫好,有人称 DeepSeek 不断把成果开源,也有人借此对比 OpenAI 的闭源。原推作者在后续回复中补充了 DeepInfer 的技术细节。

登录后查看 X 上的 5 条热门回复

来自 @deepseek_ai, @elshayib_, @realzecod 等,已过滤广告,附中英文翻译。

免费注册 已有账号?登录

讨论 0

还没有人讨论,来说第一句。

推荐信源

觉得我们漏了哪个一手信源,或者该关注什么话题?告诉我们。审核通过后,所有人的榜单都会覆盖到它。

@用户名,或者主页链接