随着烟草行业高质量发展工作的不断推进，烟草专卖管理工作不断加强，卷烟市场监管工作不断完善，虽然卷烟市场状况持续向好，但因市场供求不平衡、地域之间的卷烟差价，导致真品卷烟的非法流通仍未得到有效控制。非法流通真品卷烟的治理工作是维护好辖区良好市场秩序的基础，调查核实卷烟非法流出案件线索并分析问题根源，严格责任追究。

2017年起，国家烟草局要求对查获真品卷烟的32位激光码全部进行识别，抄录立案后48小时上报。32位激光喷码是指商业企业在分拣环节上，在卷烟的外包装玻璃纸上喷打的激光码。该码由分拣日期、件码派生号、自定义信息、零售户信息组成，分为上下各16位，共32位。

激光喷码录入信息化系统的人工过程中，准确率和效率一直是互为矛盾的存在。在传统管理过程中，人工识别录入效率较为低下，尤其在大量稽查的非法流通真品卷烟的情况下，稽查人员急需在规定时间内完成大量条烟喷码的录入工作。此外，传统抄录模式存在查获非法流通真品卷烟后，存在无法即时录入系统的问题。因此，亟需引入高效率、高准确率的卷烟条包激光喷码识别技术，第一时间将违法信息识别并上报，有效杜绝徇私情况的发生，断绝违法人员的违法行为存在的可能。

 

在实际烟草稽查工作中，按照传统的抄录方式，从抄写到录入一条卷烟的32位码平均需要一分半钟。这一工作强度大、错误率高，且在对各单位进行咨询后发现，均存在喷码抄录耗时长的问题，尚无更好的方式方法对其进行改善。在卷烟激光喷码的录入检查时，更是需要对实时性有一定的要求。因此，这是一个当前普遍存在的共性问题，解决该问题是行业的普遍需求。

为解决此共性问题，本文设计卷烟条包32位激光喷码识别平台对喷码录入和管理的工作进行简化操作。卷烟条包32位激光喷码识别设备由稽查员手持，在查验卷烟激光喷码时，使用机器上的摄像头对卷烟的喷码进行扫码，通过显示屏获取当前卷烟的分拣日期、件码派生号、零售户信息等内容。如果这些信息在识别中存在个别差异，还需要通过触摸屏手工进行确认修改。喷码识别设备每周需要定时升级，来确保核查数据库的完备和准确。喷码识别设备由于便携的需要，要在无网络环境下工作。同时作为便携设备，还需要考虑供电问题，因此还需要锂电池的供电系统作为支持。

总体来说，通过卷烟条包32位激光喷码识别平台来录入卷烟激光喷码的流程如下：

在同一时间、同一地点完成卷烟激光喷码录入核查操作；稽查员手持完成该流程；扫码结果需要快速完成；扫码后给出卷烟的出厂分拣信息，以及能够识别出是否真假烟；个别信息存在差异时可以通过触摸屏进行手工修改；喷码识别设备需要定时同步核查数据库来保证数据的实时有效；能够同时支持行业标准的条码识别。

 

由于激光喷码识别设备作为手持设备，根据使用场景需要满足的技术指标如下：

（1）手持设备需要具有便携性，整体设计不能过大。

（2）手持设备需要支持无网络环境运行，以及较长时间的供电。在有网络环境时则需要满足在线更新。

（3）手持设备需要提供摄像头，触摸屏等硬件功能支持。

（4）手持设备的扫码过程需要能够在短时间内快速反馈出正确率较高的结果。

（5）扫码结果除了给出卷烟自身的出厂信息外，还能进行真假烟的初步鉴别。

（6）除了自身的激光喷码外，还要能够识别行业标准的条码。

通过对技术指标的整理，本文总结的技术关键节点主要包括：

终端硬件  提供集成度较高的智能终端，集成触摸屏，设想头，锂电池等来构建喷码识别设备主体。

终端应用  需要提供给稽查员的业务功能模块，主要包括激光喷码识别，条码识别，核查信息显示和错误信息修改。

核查平台  喷码识别设备的远程管理平台，用于核查数据库的定时更新。

本文选择终端硬件采用智能终端的整机集成方案来完成硬件设计，参考联发科、全志等厂商的常用方案，选择对应的ODM厂商来完成。智能终端操作系统选择安卓作为首选的嵌入式系统。终端应用采用独立APP的方式来提供支持和更新。核查平台则采用云服务器提供中心化的远程管理。

该方案中，优先采用OCR方案来设计卷烟激光喷码系统的识别。直接使用OCR方案时，如果不对摄像头采集的实时视觉数据进行特殊处理，会在激光喷码与卷烟背景颜色复杂或文字与图案交叠的场景下，降低字符的识别率。因此，需要辅以深度学习的方式来做结果的融合处理。这里给出可能用到的相关指标：

识别设备在扫描卷烟激光喷码后读出的字符数与32位喷码的总字符数的单次比值。

字符识别率达到90%以上的卷烟条数与卷烟总条数的比值。通常情况下，字符识别率决定了喷码识别设备的准确率。

和喷码识别处理方法类似，同样采用CV-OCR的方案来处理。比较特殊的是，这里的识别模型不需要深度学习生成，而是指直接采用国标条码编码特征就可自行解析完成。

条码有很多种，在我国广泛流传的是全球通用的EAN13码。所以这里给出该种条码的识别方式。

条码的位数说明：条码一共有13位；前2位或者前3位称为前缀，表示国家、地区或者某种特定的商品类型；中国区条码开头：690~699；图书类条码开头：978~979；前缀后的4位或者5位称为厂商代码，表示产品制造商；厂商代码后5位称为商品代码，表示具体的商品项目；最后1位是校验码，是根据前12位计算而出，用来识别校验。

条码编码说明：条码一共有8个区域：左侧空白区、起始符、左侧数据符、中间分隔符、右侧数据符、校验符、终止符、右侧空白区。字符为0~9；除空白区外的区域和字符都采用二进制编码表示，1表示bar（黑条），0表示space（白条）；起始符、终止符编码为101，分隔符编码为01010；0~9每种字符有3种编码方式，AB为左侧数据奇偶编码，C为右侧数据偶编码。左侧数据的奇偶性由前置符决定（就是说，第一个字符是几就按下面的排列开始）。校验码的计算方法为条码的位数起始位为最右一位，即校验位，条码示例，见表1。

表1

 

有了上述的条码编码规则，只需要借助CV-OCR的识别方式，将条码从对应的图像转化成为对应的条码编码解析，即可完成条码的识别过程。

通过对第一阶段的识别结果进行核查确认。业务功能点主要包括：

核查编码信息查看  需要根据卷烟激光喷码来获取该喷码对应的具体业务信息，包括分拣日期、件码派生号、自定义信息，零售户信息等喷码自身信息和核查数据库配置的关联信息。

真假烟信息鉴别  有了之前的喷码信息，程序就可通过激光印刷规范与识别出的喷码信息相结合，通过本地数据库的匹配来判断出该条烟是否是合法流通的卷烟，从而实现了真假烟的初步识别。

核查编码信息修改  在显示核查信息时，通过触摸屏对错误的信息进行手工修改。

根据算法识别字符置信度阈值，根据后期实验效果来制定，如：低于60%置信度的字符，可警示人工进行修正。随着修正次数的增多，置信度会越来越高。

每台扫码设备都需要维护自身核查的卷烟激光喷码信息。因此需要对这些分散的信息进行汇总处理。由于网络限制的原因，这里采用手工同步方式来完成。在扫码设备接入网络的情况下通过该操作来完成同步。

 

编码识别设备分为终端硬件、终端应用、核查平台三部分。其中，终端硬件采用智能终端的整机集成方案，终端应用则作为APP提供。核查平台采用BS架构部署在云端，对编码识别设备进行统一管理。应用支持远程升级。

终端硬件需要集成摄像头，触摸屏等外设。终端应用需要支持卷烟激光喷码的快速识别。采用本地数据库作为基本核查数据库。在网络环境，终端应用可通过手动更新的操作来完成核查数据库的同步更新。系统架构示意图，如图1所示。

图1 系统架构示意图

 

系统应将原型机主要实现的功能有：支持通过摄像头快速识别卷烟激光喷码；支持通过触摸屏修改识别出来的喷码基本信息；支持通过手动更新来完成核查数据库的同步。

由于硬件系统开发板具有体积小、功耗低与研制设备环境一致，所以，本系统原型机基于硬件开发板进行开发。

设备参数RK3399 Pro硬件开发板，如图2所示。

图2  RK3399 Pro硬件开发板

 

CPU：六核ARM 64位处理器；

GPU：四核ARM Mail-T860 MP4 GPU；

NPU：支持8bit/16bit运算，运算性能3.0TOPs；

VPU：支持4K VP9 and 4k 10bits H265/H264视频解码，高达60fps；

内存：3GB/6GB LPDDR3；

eMMC：16G eMMC；

显示：1路HDMI、1路DPI、1路MIPI、1路eDP1.3；

支持无线网络、以太网络；

电源 DC 12V/2A；

Linux操作系统；

PCB尺寸：145mm*106mm。

摄像头模块设备配置摄像头为1300万像素(13mp)以上级别。

触摸屏模块设备采用7寸多点触摸电容屏。

终端应用运行在Linux系统上，支持更新，升级，迭代。

网络：系统支持在无网络环境中使用，在有网络环境中支持手工同步核查数据库。

图像识别：需要摄像头实时从外部环境中采集待核查的卷烟激光喷码或条码信息，并在2-3秒内给出检测结果，检测结果准确率大于85%。

存储：每台设备支持离线数据缓存，当联网后，自动将数据同步至云服务器。

整个系统包括两个部分：硬件喷码扫描识别终端、业务管理系统。其中，喷码识别算法在硬件终端中运行。整个系统主要包括的开发内容：基于深度学习的喷码检测及识别算法、基于RK3399芯片的算法优化及裁剪以及业务管理系统。

为了完成喷码校验，需要在图像中首先分离出全部喷码的对应图像，对喷码进行扭转，再识别喷码中的数据。由于手持终端设备资源受限，所以在开发算法过程中，神经网络的计算量是首先要考虑的一个因素。为提高推理速度，算法采用FCOS来作为喷码检测网络，将检测到喷码的输出，送入递归神经网络，来检测每一个数字。系统方案示意图，如图3所示。

图3  喷码识别平台系统方案

 

使用深度学习的理论对扭曲字符进行修正，采用四边形抽样法和BezierAlign的定性进行识别结果。同时对字符的置信度标示，检测结果用红色边框显示，字符的置信度提示，可结合触摸屏识别的人工干预阈值来进行示警设置。

由于硬件资源受限制，所以算法无法直接在硬件上运行，需要对算法进行裁剪及优化，优化后在尽量不降低算法性能的情况下，将算法部署到硬件运行。算法优化及裁剪所采用的方案：

采用轻量级Backbone  

模型量化 

采用RKNN推理引擎  

触摸屏、NPU开发板及算法开发流程，如图4所示。 

图4  触摸屏、NPU开发板及算法开发流程

 

系统采用B/S架构，采用前后端分离的开发方式，利用Spring Boot、Spring MVC、Mybatis、Kafka、Vue来完成业务系统开发。业务管理系统系统方案，如图5所示。

系统采用消息中间件来提升对终端请求的响应，中间件用于接收终端的数据，后端系统订阅并处理消息。

基于深度学习的卷烟条包激光喷码识别技术平台对已有测试图片进行实验，其结果表明：随着样本图片的增加，基于深度学习的识别率可达98%以上，准确率高，能够在很大程度上帮助一线稽查工作人员进行非法烟稽查，根据测试图片所识别出的结果示例，如图6所示。该技术平台可以高效准确地对各种条烟地喷码进行识别，若出现个别因为特殊情况所不能识别的喷码数字，会使用特殊字符进行替换，并在显示屏上显示，可供使用者进行编辑修改。

基于深度学习的卷烟条包激光喷码识别技术，并开发出硬件激光喷码识别平台，可高效准确地解决目前激光喷码识别所存在的问题，既响应政策要求，又最大程度上减轻烟草一线工作人员的工作量，操作方便，适用场合多。自动记录上报功能避免一线队伍内部出现徇私，增加对工作人员的内部监管力度，使得稽查工作提升一个新高度，确保国家税收得到依法征收，维护国家利益和消费者利益。

 冯军平  高翔  朱东红  吉敏  路宏伟  贾炬

（作者单位：陕西省烟草公司西安市公司）