跳到正文
原文
Show HN· enki_runtime·· 20 天前精选AI 评分75

Enki LLM:纯Rust实现的Llama-3.2 1B模型及GPU/CPU脑迁移

Show HN: Enki LLM A pure rust (even kernels) with live GPU/CPU brain migration

AI 导读

Enki LLM是一个纯Rust实现的Llama-3.2 1B模型,支持GPU/CPU脑迁移,可在Nvidia Tesla T4 GPU上以约40个token/秒的速度运行。

推荐理由

原文展示了纯Rust实现的Enki LLM,具有GPU/CPU脑迁移功能,读者可以了解其性能和适用场景。

来源:Show HN · github.com