Show HN· enki_runtime·· 20 天前精选AI 评分75
Enki LLM:纯Rust实现的Llama-3.2 1B模型及GPU/CPU脑迁移
Show HN: Enki LLM A pure rust (even kernels) with live GPU/CPU brain migration
AI 导读
Enki LLM是一个纯Rust实现的Llama-3.2 1B模型,支持GPU/CPU脑迁移,可在Nvidia Tesla T4 GPU上以约40个token/秒的速度运行。
推荐理由
原文展示了纯Rust实现的Enki LLM,具有GPU/CPU脑迁移功能,读者可以了解其性能和适用场景。
来源:Show HN · github.com