当前位置：首页 > news >正文

多源车辆数据打通实战指南：从12123接口、爬虫获取电动自行车车辆信息到备案数据推送六合一平台

news 2026/8/26 0:16:25

01 背景

系统初期车辆数据主要来源于第三方网站，通过爬虫方式进行采集：

依赖网页结构解析，稳定性较差
网站结构或策略调整会导致采集失败
存在数据缺失问题，尤其是新车信息获取不及时或无法获取

随着业务发展，对车辆数据的准确性、完整性和时效性要求不断提高，爬虫方式已难以满足稳定数据供给需求。后续引入12123平台接口作为新的数据来源：

数据权威性高、结构规范
获取稳定性显著提升
但接口调用需申请权限，且存在调用次数限制

02 对接12123接口获取车辆信息

12123接口对接流程

本页详细展示了调用12123接口获取车辆信息的完整流程，涵盖请求接收、次数校验、接口调用、数据处理及结果返回等关键环节，确保操作规范与数据完整。

接口对接执行步骤：

接收请求：用户扫码或输入车辆编码发起查询请求
次数检查：校验Redis中当日调用次数上限
调用接口：获取token，构造参数调用12123查询接口
接收响应：获取JSON格式的车辆信息数据
数据保存：解析数据并存入本地数据库
更新计数：调用INCR命令累加调用次数
返回结果：将车辆信息最终返回给用户

对接12123接口实现

初始化接口调用器与获取Token代码示例：

// 初始化接口调用器invoker=newNetServiceInvoker(//参数一：NetServiceInvoker的加解密封装类，采用模板模式newBaseHttpCryptData(){// ... 一些信息配置@OverridepublicAesTokengetToken(CryptInfoinfo){returngetTokenHard(info);}},//参数二：NetServiceInvoker的java对象序列化封装类。//要求将java对象序列化为json后，转化为byte[]newIObjectByteArrayConverter(){// 重写convert方法});// 获取TokenpublicAesTokengetTokenHard(CryptInfoinfo){// 配置一些基本信息NetClientRequestclientRequest=buildRequest();clientRequest.setRequestUrl("http://XXX");clientRequest.setCryptType(IHttpCryptData.CryptType.RSA_CRYPT);clientRequest.setCompressType(IHttpCompressData.CompressType.GZIP);clientRequest.setClientId(info.getClientId());try{NetClientResponseresponse=invoker.doPost(clientRequest);AesResulttoken=JSONObject.parseObject(response.getData().toString(),AesResult.class);returntoken.getData();}catch(Exceptione){returnnull;}}

接口调用次数限制实现

1、技术选型
使用 Redis Key-Value 结构实现高效计数，利用其高性能特性保障接口调用次数统计的实时性、准确性，且原生支持多服务节点的分布式部署。

2、实现逻辑

Key设计：以特定标识作为Key，确保计数粒度。
计数与判断：调用前执行INCR递增，立即判断结果是否超过阈值。
过期策略：为Key设置过期时间（1天），实现每日限额。

3、代码示例

publiclonggetIncrementForDay(Stringkey){longserialNumber=redisTemplate.opsForValue().increment(key,1);if(serialNumber==1){redisTemplate.expire(key,1,TimeUnit.DAYS);}returnserialNumber;}

03 多网站爬虫获取车辆信息

多网站循环调用策略

为提高数据获取成功率，系统采用多网站循环调用策略，依次尝试访问不同网站，直到成功获取数据或所有网站尝试完毕，极大增强了系统的容错能力和稳定性。

具体流程：

接收请求：
- 场景 1：用户输入车辆编码，发起通用爬虫请求；
- 场景 2：用户扫描车辆二维码，系统解析二维码获取目标 URL，发起定向爬虫请求。
确定爬虫目标：
- 场景 1：任务管理器从配置列表中选取未尝试的网站；
- 场景 2：直接锁定二维码解析出的目标 URL。
调用解析器：调用对应网站 / URL 的解析器，尝试抓取并解析车辆信息。
结果判断：检查解析器是否返回有效车辆数据。
成功处理：若获取有效数据，立即整合数据并返回给用户（终止流程）。
失败重试 / 终止：
- 场景 1：失败则检查配置列表中剩余未尝试的网站，有则返回步骤 2 重试，无则返回爬虫失败；
- 场景 2：失败则直接返回爬虫失败（无重试环节）。

爬虫技术选型与实现（Jsoup）

Jsoup简介：
一款非常流行的Java HTML解析器，提供了类似于jQuery的CSS选择器，能够方便地提取和操作HTML数据。

核心步骤：

使用Document document = Jsoup.parse(body);方法获取网页的Document对象。
使用document.getElementsByTag("xxx")方法定位到包含目标数据的HTML元素。
通过.text()或.attr()方法提取元素的文本内容或属性值。

简单代码示例：

publicvoiddoDecoder(Documentdocument,QrcodeDecoderResultresult){Elementstables=document.getElementsByTag("tbody");for(Elementtable:tables){Elementstrs=table.getElementsByTag("tr");for(Elementtr:trs){Elementstds=tr.getElementsByTag("td");if(tds.size()==2){ElementlabelTd=tds.get(0);ElementvalueTd=tds.get(1);if(labelTd.text().contains("车辆编码")){result.setBicycleCode(valueTd);}}}}}

爬虫获取车辆信息网站对接对比

目前对接的第三方网站常用的有中国质量认证中心与北京中轻联认证中心，下面基于这两个网站描述登记备案爬虫获取车辆信息的流程。

中国质量认证中心（CloseableHttpClient）

获取验证码图片
↓
验证码识别（OCR）
↓
携带验证码发起查询请求
↓
解析返回结果获取车辆信息

北京中轻联认证中心（RestTemplate）

发起查询请求
↓
解析返回结果获取车辆信息

04 备案数据推送至六合一

数据推送流程

新车录入/更新：交警或经销商新增车辆备案登记或交警进行车辆业务变更。
定时任务推送事件：定时任务按时触发数据推送事件，扫描新数据或新变更数据。
读取待推送数据：推送服务从数据库中读取新数据或新变更数据。
调用推送接口：封装成指定格式（JSON），SM2对主体数据进行解密，并对调用请求内容进行签名后调用六合一平台推送接口。
接收推送结果：接收六合一平台返回的处理结果及失败原因。
更新本地状态：根据结果更新车辆推送信息的推送状态（成功/失败）。
记录推送日志：记录推送时间、结果等，便于后续排查。
失败数据处理：对推送失败的数据根据失败原因进行数据排查。

数据推送实现代码

JSONObjectheadJson=newJSONObject();// ... 构造请求头参数Stringhead=headJson.toString();JSONObjectbicycleJson=newJSONObject();// ... 构造车辆参数JSONObjectobject=newJSONObject();object.put("param",bicycleJson);object.put("sjbs","01-01-000005");JSONArrayjsonArray=newJSONArray();jsonArray.add(object);Stringdata=SM2Util.encrypt(SM2公钥,jsonArray.toString().getBytes("UTF-8"));// 下面是处理图片JSONObjectjsonObject=newJSONObject();jsonObject.put("fileid","zczp");jsonObject.put("data",getImgFileToBase64(图片路径));JSONObjectobject2=newJSONObject();JSONArrayjsonArrayFile=newJSONArray();jsonArrayFile.add(jsonObject);object2.put("param",jsonArrayFile);object2.put("sjbs","01-01-000005");JSONArrayjsonArray2=newJSONArray();jsonArray2.add(object2);Stringfiles=jsonArray2.toString();// 组装生成签名，下面一些是接口分配的代码或固定参数Stringori=fwxlh+"#"+jgbh+"#"+dxbj+"#"+wgcdbh+"#"+czrglbm+"#"+czrsfzmhm+"#"+zdbh+"#"+zdsjip+"#"+dateString;Stringsign=SM2Util.sign(privatekey,ori.getBytes());// 请求调用Stringresult=Https.sendPostByXW(url,head,data,files,sign);