跳到正文

#端侧

今日 0 条
10月7日周三
  1. IT之家78

    谷歌推出 EmbeddingGemma 2:支持多模态,7.4 亿参数量化后手机端运行约需 191MB 内存

    谷歌正式推出 EmbeddingGemma 2,将嵌入能力从文本扩展到代码、图像、视频和音频,并统一映射到同一嵌入空间。该模型基于 Gemma 4 架构,采用 Apache 2.0 许可,总参数 7.4 亿,纯文本任务仅需 2.7 亿参数,可叠加 1.7 亿参数视觉编码器和 3 亿参数音频编码器。

    推荐理由:EmbeddingGemma 2 把嵌入能力从文本扩展到代码、图像、视频和音频,并给出端侧量化内存占用,便于判断本地多模态检索的可行性。

  2. Google DeepMind78

    Google DeepMind 发布 EmbeddingGemma 2 开源轻量多模态嵌入模型

    Google DeepMind 发布 EmbeddingGemma 2,这是面向端侧的多模态嵌入模型,原生将文本、图像、音频和视频映射到统一嵌入空间,基于 Gemma 4 架构、Apache 2.0 许可,参数量 740M。

    推荐理由:EmbeddingGemma 2 把文本、图像、音频、视频统一到同一嵌入空间,并给出端侧内存与向量截断的具体数据,便于评估本地多模态检索的可行性。

  3. The Decoder71

    Google 发布 EmbeddingGemma 2,称性能超越两倍规模竞品

    Google 发布开源模型 EmbeddingGemma 2,可将文本、图像、视频、音频和代码转换为数值向量,参数量 7.4 亿,Google 称其是同类型中最紧凑的模型,在多模态嵌入基准上超越规模达其两倍的竞品。

    推荐理由:读者可据此了解一款 740M 参数多模态嵌入模型在本地运行、离线 RAG 场景下的能力与资源占用。

10月6日周二
  1. Show HN58

    Rei:跑在 Game Boy Color 上的 374K 参数语言模型 v1.0 发布

    作者发布 v1.0,把 374K 参数的语言模型用汇编跑在 Game Boy Color 上,并新增第二张卡带 Rei,一个会问名字并记住的对话角色。故事模型和 token 未变,编码器改为精确实现并快 150 倍,首个 token 从 6.8 秒降到 1.8 秒,速度 0.46 秒/token。

    推荐理由:作者把 374K 参数模型塞进 Game Boy Color 并给出逐项实测数据,可看端侧推理的极限工程取舍。

10月4日周日
  1. Show HN72

    gutsy-0.8b v0.4 发布:CPU 本地运行的校准决策模型

    gutsy-0.8b v0.4 发布,这是基于 Qwen3.5-0.8B 微调的本地决策模型,接收文本或 JSON 状态与是非、选择、打分三类问题,返回每个选项的概率,不做文本生成、不联网、无按次调用成本。

    推荐理由:0.8B 决策模型在 CPU 上给出校准概率,并公开了训练数据构成与各基准的弱项,便于判断这类小模型能承担哪些判断任务。

9月29日周二
  1. 开源中国71

    Jeff 开源发布:22 毫秒出决策的小模型,0.8B 微调在 benchmark 上逼近 Jev

    开源项目 Jeff 发布,定位为专做快速决策的小模型,基于 Qwen3.5 和 Gemma 4 微调,作为 zero-shot 分类器一次前向计算即返回每个选项的校准概率,不生成文本、无需解析。在 RTX PRO 6000 上约 22 毫秒出一次决策,并支持 Apple M4 Max(MLX)。其 0.8B 微调版本在 benchmark 上逼近 Jev。

    推荐理由:开源小模型把决策任务做成零样本分类,给出延迟与基准对比,便于判断端侧快速决策的可行性。

8月12日周三
  1. Google DeepMind71

    Google DeepMind 发布 SL2T 手语转文字模型,率先落地 Pixel 11 的 Gboard 与 Live Transcribe

    Google DeepMind 发布多语言手语转文字模型 SL2T,首次把手语 AI 带入消费产品,在 Pixel 11 的 Gboard 和 Live Transcribe 中支持美国手语(ASL)转英文听写,后续将扩展更多设备与语言。

    推荐理由:官方给出 SL2T 的训练规模、基准分数与端侧隐私方案,可据此判断手语转文字落地的可行边界。

6月9日周二
4月3日周五