未来已来：Inkling-mlx-4bit如何推动苹果芯片成为AI研究新基建

未来已来：Inkling-mlx-4bit如何推动苹果芯片成为AI研究新基建

【免费下载链接】Inkling-mlx-4bit项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/Inkling-mlx-4bit

Inkling-mlx-4bit是一个基于MLX框架的4位量化模型，它将Thinking Machines的Inkling模型（总计9750亿参数/410亿激活MoE）的文本主干部分直接从BF16检查点进行量化，实现了在Apple Silicon上的原生运行。这一创新突破为AI研究领域带来了新的可能性，让苹果芯片在AI研究中发挥更大作用。

什么是Inkling-mlx-4bit？

Inkling-mlx-4bit是一个专为Apple Silicon优化的AI模型，它采用了先进的4位量化技术，直接从BF16检查点进行转换，避免了NVFP4->INT4的二次量化步骤，因此在质量上可能略高于从NVFP4源转换的同类模型。

该模型的核心特点包括：

• 高效量化：采用MLX affine 4位量化方案（组大小64）
• 专为Apple Silicon设计：通过mlx-lm框架实现原生运行
• 大规模参数：基于拥有9750亿总参数的Inkling模型
• 文本主干专注：目前仅包含文本解码器部分，视觉和音频编码器暂未包含

Inkling-mlx-4bit的技术规格

根据config.json文件，Inkling-mlx-4bit具有以下关键技术规格：

• 隐藏层大小：6144
• 隐藏层数：66
• 词汇表大小：201024
• 注意力头数：64
• 键值头数：8
• 模型最大长度：1048576
• 专家数量：256个路由专家，2个共享专家
• 每个token的专家数：6

这些规格表明Inkling-mlx-4bit是一个大规模的AI模型，能够处理超长文本序列，为复杂的自然语言处理任务提供强大支持。

为什么选择Inkling-mlx-4bit？

对于AI研究人员和开发者来说，Inkling-mlx-4bit提供了几个显著优势：

1. 苹果芯片优化

Inkling-mlx-4bit专为Apple Silicon设计，充分利用了苹果芯片的性能优势。这意味着研究人员可以在自己的Mac设备上运行大规模AI模型，而不必依赖昂贵的专业AI硬件。

2. 高质量量化

与其他需要经过NVFP4->INT4二次量化的模型不同，Inkling-mlx-4bit直接从BF16检查点进行量化，这有助于保持更高的模型质量和性能。

3. 创新架构

Inkling-mlx-4bit采用了混合专家模型（MoE）架构，拥有256个路由专家和2个共享专家。这种架构使模型能够在保持高性能的同时，更有效地利用计算资源。

如何开始使用Inkling-mlx-4bit？

要开始使用Inkling-mlx-4bit，首先需要克隆仓库：

git clone https://gitcode.com/hf_mirrors/mlx-community/Inkling-mlx-4bit

虽然目前完整的加载器尚未正式发布，但一旦可用，基本使用方法如下：

from mlx_lm import load, generate model, tokenizer = load("mlx-community/Inkling-mlx-4bit") print(generate(model, tokenizer, prompt="The capital of France is", max_tokens=64))

注意：自定义模型类位于转换仓库的models/inkling_mlx.py中。在mlx-lm正式注册该模型之前，需要通过该模块的load()函数进行加载。

注意事项和限制

在使用Inkling-mlx-4bit时，需要注意以下几点：

内存要求

该模型在磁盘上约占用560GB空间，加载时需要大致相当的统一内存。这超出了目前任何单台Mac的最大内存（512GB），因此实际上需要分布式/多设备MLX设置。从这个角度看，Inkling-mlx-4bit更多是一个研究成果，展示了在Apple Silicon上运行超大规模模型的可能性。

尚未完全验证

Inkling的自定义前向传播（分解注意力+短卷积+sigmoid MoE）是基于参考的重新实现，其输出尚未与原始模型进行核对。因此，在使用过程中可能会遇到一些未预料到的问题。

功能范围

目前版本仅包含文本解码器，视觉（图像/视频）和音频编码器未包含在内。

结语

Inkling-mlx-4bit代表了AI模型在苹果芯片上部署的重要一步。尽管目前还存在一些限制，但它展示了将超大规模AI模型带到个人设备的可能性，为AI研究和应用开辟了新的方向。

随着技术的不断进步和硬件的持续发展，我们有理由相信，苹果芯片将在未来的AI研究中扮演越来越重要的角色，而Inkling-mlx-4bit正是这一趋势的先锋。

对于希望在苹果设备上探索大规模AI模型的研究人员和开发者来说，Inkling-mlx-4bit无疑提供了一个令人兴奋的起点。我们期待看到社区如何利用这一工具，推动AI研究的边界，创造出更多创新的应用和解决方案。

了解更多关于Inkling模型设计的信息，请参考博客：https://huckiyang.github.io/blog/inkling-audio-design.html

【免费下载链接】Inkling-mlx-4bit项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/Inkling-mlx-4bit