跳到正文
原文
IT之家·· 26 天前精选AI 评分71

GitHub Copilot 支持本地 AI 模型推理,Surface Laptop Ultra 解码吞吐最高每秒 63 词元

GitHub Copilot 不再纯云端 AI 模型:Surface Laptop Ultra 本地推理吞吐量最高每秒 63 词元

AI 导读

微软在旧金山发布会上宣布,GitHub Copilot 将在本月底前支持本地 AI 模型推理,开发者可在云端模型与设备端模型之间自动或手动切换。用户可在 GitHub Copilot CLI、Copilot 应用与 Visual Studio Code 中设置偏好,通过 Windows ML 选择 MAI Code 1.1 Flash,或连接 OpenAI 兼容的本地端点。

推荐理由

微软把 Copilot 的推理从纯云端扩展到设备端,并给出本地模型的参数与吞吐数据,可据此判断端侧编程助手的落地条件。

来源:IT之家 · ithome.com