【港科大-AAAI26】RoadSceneVQA：智能交通系统中路侧感知系统的视觉问答基准测试
文章：RoadSceneVQA: Benchmarking Visual Question Answering in Roadside Perception Systems for Intelligent Transportation System
代码：https://github.com/GuanRunwei/RS-VQA
单位：香港科技大学
一、问题背景：传统路边感知，缺了“推理和互动”的灵魂
智能交通的核心是“感知-理解-决策”，但目前主流的路边感知系统，只停留在“感知”的初级阶段：
能干的活很单一：比如检测有没有车、统计车流量、预测车辆下一步往哪开，都是固定的自动化任务；
不会“举一反三”：没法结合交通规则做推理，比如分不清“车辆在斑马线前停下”和“车辆闯斑马线”的区别；
缺乏互动能力：不能用自然语言回应问题，没法满足交通管理人员“问场景、查违规”的实际需求。
更关键的是，现有相关数据集要么只关注“认物体”，要么偏向车载视角，很少有针对路边场景、包含交通规则推理的内容。这就导致AI模型练不到“核心技能”，没法应对复杂路口的实际问题。
二、方法创新：数据集+模型双管齐下，让AI学会“看场景+讲道理”
研究团队针对性地提出了“1个数据集+1个模型+2个核心模块”的完整方案，彻底打通路边感知的“理解和推理”环节：
1. 首个路边专用推理数据集：RoadSceneVQA
规模够大：包含34736组“问题-答案”对，覆盖晴天、雨天、白天、夜晚等不同场景；
内容够深：不只是“车是什么颜色”“有几条车道”这类简单提问，更有“行人闯红灯了吗”“骑车人违规了吗”等需要结合规则的推理题；
标注够准：采用“人机协作标注”（CH-MA），先让AI生成候选问题和答案，再由人工修正，最后7人投票确认，避免主观误差。
2. 专用模型RoadMind：小体型也有强推理
为了让模型能在路边边缘设备上部署（不能太笨重），团队设计了两个核心“黑科技”：
CogniAnchor Fusion（CAF）：像人看场景一样，先锁定关键区域（比如红绿灯、斑马线），再结合问题推理，不会被背景噪音干扰，又快又准；
Assisted Decoupled Chain-of-Thought（AD-CoT）：让大模型（如GPT-4o）先教小模型“怎么思考”，比如“先看红绿灯，再看行人位置，最后判断是否违规”，小模型学完后，哪怕只有0.9B参数（比同类8B模型小一个量级），推理能力也不落下风。
三、实验结果：性能碾压同类，小模型也能超大国模
在RoadSceneVQA数据集和另一主流交通VQA数据集CODA-LM上，RoadMind模型交出了亮眼成绩单：
综合性能第一：不管是0.9B、2B还是8B参数版本，在理解准确性、推理合理性等指标上都远超同类模型；
小模型逆袭：0.9B版本的RoadMind，推理得分（GPT-Score）超过了8B的MiniCPM-o 2.6和1.7B的MobileVLM v2，轻量化部署无压力；
泛化能力强：在CODA-LM数据集上，8B版本的RoadMind表现甚至超过了20B参数的InternVL1.5，说明模型学到的推理能力能迁移到不同场景。
值得一提的是，模型在“天气识别”“红绿灯判断”等感知任务上准确率超58%，在“违规推理”这类高难度任务上也能稳定发挥，完全满足实际应用需求。
四、优势与局限：实用价值突出，仍有优化空间
核心优势
针对性强：专门为路边场景设计，贴合交通管理实际需求，能直接落地；
效率兼顾：CAF模块让视觉和语言信息融合更高效，AD-CoT让小模型也有强推理，部署成本低；
数据优质：RoadSceneVQA填补了路边推理数据集的空白，为后续研究提供了基准。
现存局限
推理难度不均：对“多目标互动”（比如两辆车避让是否违规）的推理准确率还能提升；
极端场景不足：在暴雨、大雾等极端天气，或无信号路口等特殊场景的样本较少；
实时性待优化：虽然模型轻量化，但在超高峰拥堵路口的实时响应速度仍需打磨。
五、一句话总结
这项研究用“专用数据集+轻量化推理模型”，让路边感知系统实现了从“物体检测”到“规则推理+自然语言互动”的跨越，为智能交通的精细化管理提供了全新方案！