7MB 嵌入模型 Ternlight:无需 API,CPU 毫秒级完成文本嵌入
【导语:Ternlight 作为一款仅 7MB 大小的嵌入模型,无需调用 API,能在 CPU 上运行,可在毫秒级完成文本嵌入。它还能在浏览器中运行,以单个 npm 包形式发布,使用便捷。】
Ternlight 模型极为轻量,仅 7MB 大小,甚至还有 5MB 的迷你版本。它无需调用 API,简单部署后就能在毫秒级完成文本嵌入,处理速度约为 5 毫秒,且无需连接服务器,仅依赖 CPU 运行,无需 GPU。
Ternlight 以单个 npm 包的形式发布,无需下载模型,也无需搭建服务器。通过三行代码就能实现语义搜索,如使用类似 `similar('easy weeknight dinner ideas', recipes, { topK: 3 });` 的代码,能在约 5 毫秒内得到排名匹配结果,且零网络请求。
可以在浏览器中使用 Ternlight 搜索 React 的文档,由 5MB 的 `@ternlight/mini` 版本提供支持。用户输入问题后,就能在 CPU 上运行搜索,且首次加载后可缓存,实现零网络请求。
编辑观点:Ternlight 轻量便捷的特性使其在文本嵌入领域具有较大优势,无需依赖复杂的服务器和 API,降低了使用门槛,有望在更多场景得到应用。
