Show HN· ishekofficial·· 20 天前精选AI 评分70
BitRun v0.2:在CPU上运行8B ternary LLM的运行器和模型管理器
Show HN: BitRun v0.2 – Run 8B ternary LLMs on CPU with live wattage telemetry
AI 导读
BitRun是一个零编译、单二进制运行器和模型管理器,用于在macOS、Windows和Linux CPU上运行Microsoft BitNet b1.58和1.58-bit ternary LLM。它简化了模型管理和运行过程,支持直接从Hugging Face下载模型,并提供与OpenAI兼容的REST API。
推荐理由
BitRun提供了在CPU上运行大型ternary LLM的解决方案,对需要低功耗计算的边缘设备和嵌入式任务有重要意义。
来源:Show HN · github.com