跳到正文

端侧 AI

跑在手机、电脑与边缘设备上的 AI:小模型、本地推理与端侧芯片的进展。

最新精选

第 21–40 条 · 共 71 条
10月7日周三
  1. IT之家62

    余承东称华为基本摆脱美国技术依赖,考虑逐步将鸿蒙推向全球

    华为常务董事余承东在 9 月 29 日的国际媒体圆桌会议上表示,华为自 2019 年以来依靠自主技术和国内供应链制造先进芯片、设计操作系统,基本摆脱了对美国技术的依赖,2023 年才重新开始在国内制造智能手机芯片。

    推荐理由:余承东披露华为自研芯片与鸿蒙的进展,并提到鸿蒙出海仍处初步计划阶段。

  2. IT之家62

    谷歌推出 macOS 应用 AI Edge Foresight,支持离线记录会议纪要

    谷歌推出全新 macOS 应用 AI Edge Foresight,向苹果用户展示 EmbeddingGemma 2 端侧多模态模型的实力。该应用调用 Mac 麦克风和系统音频,结合用户笔记整理线上、线下会议纪要,并支持基于会议内容和其他知识库的实时问答,可完全离线运行。应用兼容 Apple 芯片的 Mac,用户可免费下载。

    推荐理由:谷歌用一款免费 macOS 应用展示 EmbeddingGemma 2 的端侧多模态能力,可据此判断离线会议纪要的可用形态。

  3. IT之家62

    华为徐直军称昇腾中国市场份额已超英伟达,950 超节点产能不足暂无全面出海计划

    华为轮值董事长徐直军在华为全联接大会期间的媒体问答中表示,根据华为收集的数据,昇腾在中国市场的份额已经超过英伟达。他称华为目前没有足够产能满足国内需求,因此没有计划将昇腾 950 超节点全面扩展到国际市场,仅向需求强劲的几个国家提供数量相当有限的供应并进行一些测试。徐直军还表示,中国推动芯片自给自足是不可避免的前进道路,华为将推动芯片和整个半导体价值链的完全自给自足。

    推荐理由:华为高管披露昇腾在国内市场份额与产能状况,读者可据此了解国产算力当前的供需格局。

  4. Show HN71

    ImgKit 上线 62 款浏览器端图像工具,图片不上传服务器

    ImgKit 发布 62 款在浏览器内运行的图像工具,支持压缩、缩放、格式转换以及背景移除、人脸模糊、放大和文字识别,图片全程不上传服务器。背景移除等 AI 功能使用一个 26 MB 模型,下载一次后从浏览器缓存复用,断网也能继续使用。核心优化器免费、无需账号和邮箱,单文件上限 50 MB,支持 JPG、PNG、WebP、AVIF 以及 iPhone 的 HEIC 照片。

    推荐理由:62 个图像工具全部在浏览器本地运行,模型下载一次即可离线复用,可据此判断隐私敏感场景的处理方式。

  5. IT之家62

    德国支持特斯拉 FSD 落地欧洲,前提是更名 TAD 且超速上限设为 10%

    德国联邦交通部准备支持特斯拉 FSD(监督版)在欧洲落地,前提是将产品更名为 Tesla Assisted Driving(TAD),并要求系统自动行驶时超出道路限速的幅度最高不超过 10%。

    推荐理由:德国对特斯拉 FSD 的附条件支持,呈现了欧盟审批中命名与限速约束如何成为放行前提。

  6. Show HN58

    ZWhispr 发布 macOS 语音听写工具,同时调用三个语音模型

    ZWhispr 是一款 macOS 语音听写工具,同时把音频发送给多个语音转写模型并智能合并结果,官方称可降低错误率并避免等待最慢的模型。当前模型阵容为 Grok Voice Transcribe 2.0、Meta Muse Voice Transcribe 和 Soniox STT-RT v5,每月免费 2000 词,无限听写订阅为 16 美元/月。

    推荐理由:多模型并行转写加屏幕词汇提示的思路,为语音输入类工具提供了可比较的工程取舍参考。

  7. IT之家78

    谷歌推出 EmbeddingGemma 2:支持多模态,7.4 亿参数量化后手机端运行约需 191MB 内存

    谷歌正式推出 EmbeddingGemma 2,将嵌入能力从文本扩展到代码、图像、视频和音频,并统一映射到同一嵌入空间。该模型基于 Gemma 4 架构,采用 Apache 2.0 许可,总参数 7.4 亿,纯文本任务仅需 2.7 亿参数,可叠加 1.7 亿参数视觉编码器和 3 亿参数音频编码器。

    推荐理由:EmbeddingGemma 2 把嵌入能力从文本扩展到代码、图像、视频和音频,并给出端侧量化内存占用,便于判断本地多模态检索的可行性。

  8. Show HN62

    Vokalu 发布 Windows/Mac 语音听写工具,支持本地免费或云端 2¢/分钟

    Vokalu 发布面向 Windows 和 Mac 的语音听写工具,按住 Ctrl+Win 或 Control+Option 说话,松开即在当前应用中插入整理后的文本。云端语音听写加格式化按 2¢/分钟计费,无强制订阅;Private 模式可下载端侧语音模型,本地识别且不联网,端侧听写不含 AI 格式化时免费。工具还支持会议笔记,不加入机器人,笔记和听写历史保存在本机。

    推荐理由:原文给出了本地与云端两种听写路径及按分钟计费方式,读者可据此判断语音输入的隐私与成本取舍。

  9. Google DeepMind78

    Google DeepMind 发布 EmbeddingGemma 2 开源轻量多模态嵌入模型

    Google DeepMind 发布 EmbeddingGemma 2,这是面向端侧的多模态嵌入模型,原生将文本、图像、音频和视频映射到统一嵌入空间,基于 Gemma 4 架构、Apache 2.0 许可,参数量 740M。

    推荐理由:EmbeddingGemma 2 把文本、图像、音频、视频统一到同一嵌入空间,并给出端侧内存与向量截断的具体数据,便于评估本地多模态检索的可行性。

  10. The Decoder71

    Google 发布 EmbeddingGemma 2,称性能超越两倍规模竞品

    Google 发布开源模型 EmbeddingGemma 2,可将文本、图像、视频、音频和代码转换为数值向量,参数量 7.4 亿,Google 称其是同类型中最紧凑的模型,在多模态嵌入基准上超越规模达其两倍的竞品。

    推荐理由:读者可据此了解一款 740M 参数多模态嵌入模型在本地运行、离线 RAG 场景下的能力与资源占用。

  11. Show HN68

    Reika:面向小参数本地模型的编码智能体 CLI 发布

    Reika 是一个面向本地与托管模型的编码智能体 CLI,优先围绕 8B–35B、Q2–Q4 量化、16–32k 上下文的小模型设计,通过上下文压缩、循环检测和计划模式降低小模型跑多文件任务的挫败感。

    推荐理由:作者公开了上下文管理与循环检测的实测数据,可据此判断小模型跑编码智能体的真实瓶颈在哪。

  12. Show HN68

    GridCore:让多个本地 LLM 共享一块 GPU 的调度器

    作者发布 GridCore,一个位于应用与 GPU 之间的调度器,通过 OpenAI API 接收请求,按 interactive、background、batch 三类优先级决定谁先占用 GPU,底层仍由 llama.cpp 的 llama-server 逐模型进程执行推理。

    推荐理由:作者公开了调度器的设计取舍与真机压测数据,可看到本地多模型共享单卡的显存记账难点。

  13. TechCrunch · AI62

    Hark 发布主打隐私的 AI 个人助理 Hark Pro

    创业公司 Hark 正式发布 AI 个人助理 Hark Pro,可免费使用并提供面向重度用户的订阅档。该产品基于专门为电脑操作训练的模型,能接入邮件、日历、硬盘和信用卡等数字生活数据并代为执行任务,界面以全屏主页加聊天框和面板呈现,并在小窗口中展示智能体浏览网页的过程以建立信任。

    推荐理由:Hark Pro 把隐私与可视化操作作为差异点,读者可据此判断 AI 个人助理的竞争焦点。

  14. Show HN62

    Pixellect:免费原生 macOS 图像编辑器,内置 AI 智能体框架

    作者发布免费原生 macOS 图像编辑器 Pixellect,用 Swift 加少量 Rust 编写,支持图层、矢量与文字缩放不失真、多种特效以及 PSD、SVG 等格式导入导出。部分工具调用本地模型,例如按描述选中所有红色汽车,并支持图像转矢量、文字转贝塞尔曲线。它还可选接入智能体框架,让模型远程操控应用,按图层、特效和笔刷搭建文档,也可把生成的 SVG 或图像作为新图层嵌入。

    推荐理由:作者自述用本地模型做选区、以智能体框架远程操控编辑器,可看生成式流程与图层化编辑如何结合。

  15. Show HN58

    Willow 发布语音听写工具,称比系统听写准确 3 倍

    Willow 发布语音听写产品,称其准确率比系统自带听写高 3 倍,文字最快 200ms 出现。产品支持风格匹配、自动学习词典、快捷短语、100 多种语言和离线模式,并称通过 SOC 2 Type II 认证、符合 HIPAA、零数据留存且端到端加密。

    推荐理由:原文列出语音听写的准确率、延迟与风格匹配等具体指标,可据此判断它和系统自带听写的差异。

  16. Show HN62

    Sidekins 发布 Mac 桌面伴侣:按住按键圈选屏幕提问,可与好友的 sidekin 互动

    Sidekins 发布 Mac 桌面伴侣应用,按住 fn 和 control 圈选屏幕任意内容即可提问,截图不会被保存,仅支持 Apple silicon(M1 或更新)的 Mac。它还能一步步引导操作、后台执行找商品等任务并在结账前停下,以及把消息以你的声音送到好友屏幕上,好友需同样安装才能互相拜访。应用免费起步,每月有一定消息和任务额度,Pro 提供更多。

    推荐理由:原文用一天时间线展示桌面伴侣的交互方式,并明确说明屏幕读取与代发消息的权限边界。

10月6日周二