NoFOMO
搜索 中EN 登录 注册

最高第 5 名 已下榜

llama.cpp异构分布式推理

Georgi Gerganov称llama.cpp出现在Windows发布会舞台上,软硬件栈终于融合,看好本地AI普及。

名次变化

原推

Georgi Gerganov @ggerganov 7.3万 粉丝

It is very cool to see llama.cpp on the big stage in todays Windows event! The software and hardware stacks are finally coming together. Our community has put a lot of hard work in the past years and it shows. Looking forward to more users embracing local AI. https://t.co/vmn8fy9TQ9
推文配图
508点赞 35转发 25回复 1.3万浏览

在 X 上查看 收藏

同一事件,其他人怎么说

1 条
  1. Georgi Gerganov @ggerganov 379

    Georgi Gerganov称llama.cpp可通过ggml RPC后端在异构设备上分布式推理,目前是高级设置,未来将更易用。

    在 X 上查看

X 上的热门回复

热门回复会在推文发出约 1 小时后抓取,稍后刷新再看。 现在去 X 上看

讨论 0

还没有人讨论,来说第一句。

推荐信源

觉得我们漏了哪个一手信源,或者该关注什么话题?告诉我们。审核通过后,所有人的榜单都会覆盖到它。

@用户名,或者主页链接