Show HN· joajoa·· 25 天前精选AI 评分71
Phobos v0.1.0 发布：自研内核语言在 2019 年 RTX 2080 SUPER 上跑 LLM 推理
Show HN: Phobos – a tiny kernel language that now runs LLMs on a 2019 GPU
AI 导读
作者发布 Phobos v0.1.0（v0.1.1 随后于 10 月 6 日发布），这是一个全部内核在运行时编译的 LLM 推理栈，不依赖 cuBLAS 或 CUDA toolkit，只需 NVIDIA 驱动。
推荐理由
作者公开了在 2019 年 RTX 2080 SUPER 上自研推理栈与 llama.cpp 的逐模型对比数据，可据此了解旧卡上的量化推理取舍。
来源：Show HN · joa-ebert.com