Show HN· w512·· 27 天前精选AI 评分68
GridCore:让多个本地 LLM 共享一块 GPU 的调度器
Show HN: GridCore – a scheduler that lets several local LLMs share one GPU
AI 导读
作者发布 GridCore,一个位于应用与 GPU 之间的调度器,通过 OpenAI API 接收请求,按 interactive、background、batch 三类优先级决定谁先占用 GPU,底层仍由 llama.cpp 的 llama-server 逐模型进程执行推理。
推荐理由
作者公开了调度器的设计取舍与真机压测数据,可看到本地多模型共享单卡的显存记账难点。
来源:Show HN · blokhin.us