DSpark speculative decoding 在消费级 GPU 上的基准测试

DSpark speculative decoding 在消费级 GPU 上显著提升了 llama.cpp 的文本生成速度，最高可达 2.25 倍；最佳设置取决于后端，Vulkan 使用 3 个 token 的草稿效果最佳，ROCm 则是 7 个 token；prompt 处理速度略有下降，但影响不大。