单 RGB 摄像头实现复杂环境导航！Robostral Navigate 成功率达 76.6%
导航模型 Robostral Navigate：单相机实现复杂环境自主导航
产品与服务导航
联系销售。菜单包括产品、解决方案、研究、开发者、博客、客户、公司。还可开始构建。
产品介绍
有 Studio 用于构建、测试和运行 AI 智能体和应用程序；Forge 用于训练、校准和评估自定义 AI 模型；Vibe 是用于长期任务的 AI 智能体；Vibe for code 是在终端、IDE 及后台运行的编码智能体；Compute 是用于训练和推理的前沿基础设施。
定价
有套餐、API 定价、企业版。
服务
包括交付方法、模型定制。
适用行业
有金融服务、公共部门与政府、制造业。
应用场景
有应用场景概述、编码、文档智能、语音。
最新模型
有 Mistral OCR 4、Mistral Medium 3.5、Mistral Small 4、Voxtral TTS，还可查看所有模型。
文档资源
有文档、API 参考、使用指南。
最新文章
有 Robostral Navigate 介绍、Leanstral 1.5：全民证明富足、增强连接器控制权，还可阅读所有新闻。
分类
有产品、研究、工程、解决方案、公司。
特色案例
有 ASML、CMA CGM、汇丰银行、宝马，还可查看所有案例。
关于我们
包括关于我们、招聘信息、品牌。
联系我们
有社区、合作伙伴、帮助中心。
Robostral Navigate 模型详情
今天推出了首款用于实体导航的模型 Robostral Navigate。它是一个 80 亿参数的模型，能接收 RGB 图像和自然语言指令，引导机器人在环境中移动，例如“离开大厅，穿过走廊，进入储藏室，然后停下来面对第二个货架”。
其他模型执行此类任务时，通常会使用深度传感器、激光雷达（LiDAR）或多个摄像头协同工作。然而，Robostral Navigate 仅使用一个普通的 RGB 摄像头，无需深度传感器，却在 R2R - CE（连续环境中的房间到房间导航）验证集的未见场景中达到了 76.6% 的成功率，这一指标是衡量在训练未涉及的环境中遵循指令能力的基准。因此，尽管没有使用深度传感器或多摄像头，它仍比最佳的单摄像头方法高出 9.7 个百分点，比使用深度传感器或多摄像头的最佳系统高出 4.5 个百分点。
导航能力
该模型专为机器人导航设计，能让机器人在包括办公室、住宅、商业建筑和户外环境等复杂场景中自主导航。这一技术在制造、配送、物流和酒店等行业有众多应用，是目前客户最需要的能力之一。只需给 Robostral Navigate 一个指令，它就能独立完成整个任务，在充满人和障碍物的真实环境中移动，并且能适应任何场景。
模型亮点
- R2R - CE 上的卓越性能：已见验证集成功率达 79.4%，未见验证集成功率达 76.6%。
- 单 RGB 摄像头运行：无需激光雷达或深度传感器。
- 自研 80 亿参数模型：完全在内部构建，并在模拟环境中完成训练。
- 多类型机器人适配：可在轮式、腿式和飞行机器人上运行，且不受机器人尺寸影响。
- 相机参数鲁棒性：对相机内部参数的差异具有较强鲁棒性。
- 高效训练：通过前缀缓存技术实现高效训练。
导航方式
给定任务和历史观察数据，Robostral Navigate 通过“指向”来预测机器人下一步的移动方向：它能推断出目标位置在机器人当前摄像头视野中的图像坐标，以及到达时所需的方向。与依赖度量位移的命令不同，“指向”使策略对相机内部参数和世界尺度的变化具有天然的鲁棒性。
不过，当目标位置超出当前视野时，这种方法就无法使用了。此时，模型会切换到机器人局部坐标系中的位移指令，例如“向前移动 2 米，向左移动 1.5 米，然后左转 25 度”。
自主研发
Robostral Navigate 完全由内部团队自主研发，不依赖现有的开源视觉语言模型（VLM）。该模型基于专门用于定位任务（如指向、计数和目标定位）的视觉语言模型进行初始化。导航能力是这些能力的自然延伸：一旦模型理解了物体的位置，它就会学习如何移动。
在模拟环境中构建了高效的数据生成管道，这使得数据能够快速迭代，最终生成了一个包含约 40 万条轨迹、涵盖 6000 个场景的数据集。
高效监督训练
Robostral Navigate 的关键在于基于前缀缓存的高效训练算法。采用基于树的注意力掩码策略，将整个训练周期压缩成一个序列，从而在一次前向传播中完成所有时间步的训练，同时避免了时间步之间的信息泄露。
与每个时间步使用一个样本进行训练相比，这种方法将训练所需的令牌数量减少了 22 倍，同时保留了所有的学习信号。在实际应用中，这种方法将原本需要数月的训练时间缩短至数天。
在线强化学习
利用大规模大语言模型（LLM）的训练后知识，采用在线强化学习来提升 Robostral Navigate 的性能。在监督训练阶段之后，使用在线强化学习算法 CISPO 进一步优化模型。这使得模型能够从试错中学习，从失败中恢复，并获得探索性行为，有效缓解了普通行为克隆方法中的分布偏移问题。仅这一步就使成功率提高了 3.2%。目前还未出现性能瓶颈，有信心通过更多的训练和实验继续提高这一指标。
未来展望
Robostral Navigate 只是迈向统一实体智能体的第一步。认为导航是通用机器人的一项基础能力。通过结合大规模模拟、高效训练和强大的定位先验知识，Robostral Navigate 证明了使用紧凑模型和单个 RGB 摄像头也能实现最先进的实体导航。
如果想开启实体前沿 AI 的探索之旅，可与团队联系。
招聘信息
导航模型的发布是一个重要的里程碑，但征程远未结束。目标是让机器人能够在复杂环境（如办公室、家庭、商业建筑和户外空间）中自主导航，还有很多工作要做。正在积极扩充机器人团队，寻找志同道合、有才华的研究科学家和工程师。
如果有兴趣加入，共同为机器人实现无缝导航的目标而努力，欢迎申请加入团队。
底部导航
产品
有 Vibe、Vibe Code、Studio、Forge、Compute、定价。
解决方案
有交付方法、模型定制、编码、文档智能、语音、金融领域的 Mistral 应用、公共机构的 Mistral 应用、制造业的 Mistral 应用。
选择 Mistral 的理由
有关于我们、招聘信息、合作伙伴、我们的客户、我们的模型、品牌。
法律声明
有服务条款、隐私政策、隐私选项、数据处理协议、法律公告。
社交链接
有领英、X（原 Twitter）、YouTube、Discord、Reddit。
应用下载
有苹果应用商店、谷歌应用商店。
可选择英语、法语、意大利语。