Show HN· leochong·· 26 天前精选AI 评分62
Reflex 发布冷启动 GGUF 推理引擎，可运行 Aleph Alpha 的 Kolibri-1
Show HN: Reflex – a cold-start GGUF engine that runs Aleph Alpha's Kolibri-1
AI 导读
Reflex 是一个用 Rust 和 CUDA 编写的 GGUF 原生推理引擎，主打冷启动时间，所有 CUDA kernel 由 nvcc 提前编译并打包进二进制，启动时不做 JIT 编译。
推荐理由
作者给出了冷启动的完整测量方法与对比口径，读者可据此判断单次调用场景下引擎选型的取舍。
来源：Show HN · github.com