课程文献中心 更多>>

关键词： 表计识别   机器视觉   目标检测   YOLO   嵌入式系统  

摘要： 仪表在我们日常生活和生产作业中随处可见,是采集数据和检测数据的重要工具。近年来,随着我国智能化和自动化水平的不断提高,人们对于仪表自动读数的需求也日益增强,尤其在一些变电站、发电厂等仪表密集场所,传统人工巡检的不便利以及巡检过程中存在的安全隐患,使得人们更加需要仪表自动读数技术的应用与普及。针对仪表自动读数问题,新型数字式仪表的读数比较方便,现阶段已经有非常多成熟的方案落地,而针对传统指针式仪表的自动读数的现有方案还不够成熟,存在识别不精确、易受环境干扰等问题,是亟待研究和攻克的难题。本文针对这些问题提出了两种不同方案的仪表自动读数算法,以及一种基于机器视觉的表计识别系统,并结合相关技术背景以及研究现状对这两种算法与识别系统进行了详细的研究和介绍。本文所做的主要工作如下:(1)本文在传统图像算法基础上设计了一种基于模板匹配以及霍夫圆检测的表计识别方法。算法通过表盘定位、指针定位、零刻度线定位三个步骤实现了指针式压力表的自动读数,主要使用了模板匹配法以及霍夫梯度法定位仪表,设计了一种旋转模拟指针法定位指针和零刻度线,最后对仪表定位算法以及读数识别算法进行了实验室环境下的测试,二者都达到了较高的准确率。(2)针对深度学习在仪表识别方向没有公开数据集的现状,本文通过搜集变电站图像,筛选标定了5000张图像制作了一个VOC格式的变电站仪表数据集。在实验室环境下模拟变电站环境拍摄标定了1600张图像制作了另一个图像清晰能用做指针识别的VOC格式的指针式压力表数据集。(3)通过分析发现传统图像算法在指针式仪表识别时易受环境影响,而深度学习算法受环境变化影响小,因此本文提出了一种基于深度学习的仪表读数识别算法。以轻量级网络YOLOv4-Tiny为原型,设计了仪表定位算法的网络,从引入注意力机制、改进特征融合机制、加入Mosiac数据增强三方面对网络进行了改进。而在指针定位与读数识别方面提出了基于霍夫圆检测和极坐标展开法的指针读数算法。对于仪表定位算法以及指针读数算法分别进行了相应的实验测试与分析,算法整体鲁棒性、稳定性和准确率都得到了一定程度的提升。(4)本文针对表计识别算法落地,设计了基于机器视觉的表计识别系统。系统的硬件部分采用了勘智K210芯片,使用OV2640作为机器视觉的摄像头,并设计了片外存储、下载调试等外部电路为系统运行提供硬件支持。表计识别算法也为了满足硬件以及实时性需求做出了适应性的改进,对于仪表定位网络进行了结构优化与模型量化,指针识别方面则选取了符合芯片算力的算法。为了方便远端监控,设计了QT界面实时查看表计图像以及显示读数。最终成功将算法部署到嵌入式设备上,并进行了相应的实验测试与分析,通过运行界面进行了整体系统的效果展示。

关键词： 目标检测   目标跟踪   DC-ECA-CenterNet   AS-CenterTrack   CBAM-YOLOv5s   HOG+SVM   嵌入式系统  

摘要： 铁路运输承载着实现经济腾飞的重任,而对列车的检修与维护是保证铁路运输安全运行的关键,所以列车检修工作一直是业界关注的焦点。列车检修车间对检修人员的行为规范有着严格的要求,但是传统的监督管理方案并不能很好的约束检修人员的违规行为,因此打造列车检修车间的高效且智能化的监督解决方案有着重大意义。本文基于图像识别技术,采用机器学习和深度学习的相关方法,实现一套智能监督系统,实时地对检修人员安全防护器具的穿戴规范性进行高效监督识别,对于穿戴不规范的人员及时提醒,排除安全隐患,保障工作人员的安全。(1)对人员的检测与跟踪是监督一切违规行为的基础,本文提出一种轻量级目标检测算法DC-ECA-CenterNet实现端到端人员检测,在其基础上融合前一帧图片信息实现一种新型人员跟踪算法(AS-Center Track),完成实时高效的人员跟踪。选用Resnet-50网络模型作为CenterNet的backbone部分,实现检测精度与速度的均衡;使用形变卷积代替标准卷积,克服检修人员姿态多样而导致的误检或漏检的问题;将ECA-Net注意力机制与CenterNet的检测头部分进行融合,解决因检修人员相互遮挡而漏检的问题。针对人体目标跟踪算法(Center Track)在人员相互遮挡或人员拥挤情况下,时常跟踪失败的问题,融合目标中心距离与目标框面积相似度(AS)作为新的目标关联指标,有效提升了跟踪准确率。实验表明,本文提出的算法在检修车间场景中有着良好的人员检测和跟踪效果。(2)在完成人员定位与追踪的基础上,提出CBAM-YOLOv5s算法实现检修人员的安全帽和口罩的佩戴检测。在YOLOv5s的Backbone部分的三个不同位置融入了卷积块注意力模块(CBAM),增强Backbone对重要特征的提取能力,提升模型对安全帽和口罩的识别准确率;使用CIo U Loss替换GIo U Loss,有效提升网络训练时的收敛速度,同时提升网络的回归定位精度;使用DIo U-NMS替换原始NMS,进一步提高目标相互遮挡情况下的检测精度。实验结果表明,CBAM-YOLOv5s性能优异,检测效果良好。(3)提出一种组合式检修人员安全带穿戴检测算法。首先提出一种图像区域判定技术,对检修人员躯体所处的区域进行判定,确定检测目标;接着对处于作业区的人员图像进行预处理操作,突出安全带的信息;最后提出HOG+SVM+连通域面积判定算法判定人员是否穿戴安全带。整套算法方案能准确的判定人员的安全带穿戴情况,满足了实际项目需求。(4)编写程序实现训练完成的所有算法模型的有序融合,部署到嵌入式设备(Jetson TX2)中,研制了智能监督系统。对所研制的系统进行性能分析,并评估本文解决方案的可靠性。

关键词： 嵌入式系统   跌倒检测   深度学习   YOLOv5   密集连接网络  

摘要： 随着社会的进步和科技的日益发达,人们在平时生活中的安全意识也在日益增强,特别是在老龄化日趋严峻的今天,独居老人在室内外活动时的安全要求日益提高,针对这一社会现象本文通过运用嵌入式技术、网络通信技术以及整合采用深度学习的目标检测算法的行为识别模块,完成了一套轻量化的嵌入式跌倒检测系统,该系统集成了视频监控、网络通讯和跌倒检测等多个功能。首先,提出了一个在嵌入式平台上运行深度学习算法模型的设计方案。但是通常情况下,深度学习算法模型的训练过程不适合在嵌入式设备上进行。故本文的模型训练过程是在PC平台Windows10的环境下进行的,然后将训练好的算法模型移植到嵌入式平台设备上以实现调用和运行。具体方案如下:在硬件平台上选择了搭载S5P6818芯片的X6818开发板,并连接摄像头获取监控画面,再由开发板上运行的视频服务器完成对于视频流的检测算法调用和监控画面的传输。与此同时,为了保证视频服务器和训练好的算法模型能够部署在嵌入式设备上运行,本文将Linux系统移植到了开发板上,并且部署了适合于嵌入式设备的算法推理框架MNN以保证移植后的算法模型的正常运行。接着是对模型的训练,在windows10平台基于PyTorch学习框架,对各类跌倒行为进行了分类整理,基于自己拍摄和网络上收集的534张图片,使用Label Img标注工具,完成了跌倒行为数据集的制作。之后通过改变网络宽度和网络深度对YOLOv5(You Only Look Once)算法模型轻量化处理,进一步减少了网络参数和计算量,提高了检测推理的速度。由于模型轻量化后,无法避免出现检测精度降低的问题,考虑在此基础之上对网络结构进行优化处理,采用了基于密集连接网络思想的方法改变了算法网络结构,改进后的模型与原模型进行了对比实验,新模型经过更少的迭代测试次数达到了最佳性能,召回率提高了1%,精度提高了0.96%,在置信度设为0.5的条件下,m AP达到0.962。最后对系统的各个功能模块以及系统整体功能进行测试,对于跌倒检测算法模型移植到开发板上的检测速率,在运行过程中平均速率达到16fps,且在最后的跌倒行为检测实验环节,检测成功率达到98%,基本符合跌倒监测系统的总体要求,为下一步研发工作做好铺垫,并具备相当的实际使用价值。

关键词： SSD   目标定位   零件识别   嵌入式系统  

摘要： 现代制造业中,智能机器人已经被广泛应用到各个领域,工厂生产制造效率得到极大提高。机器视觉作为智能机器人获取信息的主要技术手段,在智能机器人发展的道路上扮演着重要角色。目前工业机器人在工厂进行零件回收时,由于零件堆叠、光线昏暗、杂物干扰等因素导致传统视觉检测方法回收效率低、误检漏检率高、定位精度低、检测速度慢等问题越来越严重,严重影响了工业机器人的分拣效果。针对上述问题,结合工程实际下零件目标检测对精度、实时性、小尺寸多目标检测的要求,本文提出了改进Res Net18-SSD算法模型,并对Res Net18-SSD模型进行动态定点量化及快速卷积引擎等改进,实现零件目标识别、定位等任务,具体工作如下:1)在保证精度的前提下对原始SSD模型的参数量和计算量进行缩减。通过引入Res Net-18代替SSD基础网络(VGG16前置网络),使新模型能够在降低计算参数量、计算量的前提下保持SSD算法的检测精度;由于工厂灯光灰暗、图像对比度低、提取图像模糊,为了增强网络模型的鲁棒性,引入多分支同构结构,使网络模型增强对不同尺度图像的敏感性;提出非对称并行残差结构,使模型对不同尺度的零件特征的提取能力增强。最终训练得到零件目标检测模型,改进后识别率满足工厂实际需求并且检测速度得到了极大的提升。2)通过对相机标定理论的研究,采用张正友标定法完成对相机的标定。将Maltlab得到的相机参数和张正友标定法进行对比实验,采用平面九点法,建立像素坐标系与系统世界坐标系之间的转换关系,并利用HALCON进行算法实现。3)在FPGA硬件平台上完成对改进Res Net18-SSD算法的加速。首先在保证精度的前提下,采用动态定点量化的方法合理地减少参数量,使CNN模型的训练和推理能力进一步提升;针对计算并行度不足的问题,采用更快的卷积算法,对于Res Net18-SSD算法中卷积核尺寸为3×3,步长为1的卷积计算,采用Winograd算法硬件实现以达到更高的并行计算能力,而对于模型中其他两种类型的卷积层采用原始卷积方式进行硬件实现。同时本文还完成了旁路层、sum层等硬件结构设计。4)最后本文通过搭建实验平台对零件目标检测与定位系统进行系统集成,验证了模型的有效性。在满足实时性的前提下,能够在零件相互遮挡、灯光灰暗等复杂工作条件下也能有较好的检测效果。

关键词： 嵌入式系统   打印机驱动   OpenCV   BERT   前后端分离  

摘要： 随着现代工业的发展,工业触摸屏被广泛应用于各个领域,为整个生产系统提供了良好的人机交互界面。通常情况下,通过打印机可以获取工业触摸屏显示的实时数据,但在实际应用过程中,受众多因素影响,会产生如下问题:(1)由于工业触摸屏的使用周期较长,而它所支持的打印机可能早已停产或被淘汰,若使用新型打印机很可能会产生兼容问题,导致无法正常打印;(2)工业触摸屏的应用范围较广,显示的数据类型丰富,需要对数据进行分类处理,方便后期查询和维护;(3)由于工业环境恶劣或受当今新冠疫情的影响,工作人员无法到达现场获取工业触摸屏的实时数据,因此需要提供数据远程监测与打印功能。基于上述需求,设计了一套转接模块系统,解决工业触摸屏和通用打印机在交互过程中产生的问题,进而提高生产效率。首先对涉及到的相关理论知识进行介绍,分析研究了转接模块系统的基本需求,确定系统需要实现的功能目标。考虑到系统的功能需求、性能需求以及处理器的功耗、成本等方面,选择在嵌入式系统上完成转接模块系统的设计。主要研究工作包括:(1)对系统主控模块及外围设备进行选型,并对功能模块的相关电路进行设计,制作PCB板,并搭建软件运行环境;(2)通过串口通信模块和图像采集模块获取工业触摸屏的实时数据,使用Python语言编写了控制程序,调用Open CV API对数据进行预处理;(3)通过对Linux操作系统下打印方案进行深入研究和分析,确立了以嵌入式系统为平台,CUPS为核心的打印驱动程序,解决不同类型的工业触摸屏与不同型号的通用打印机之间不兼容的问题,实现数据通信和本地打印功能。(4)应用深度学习技术,基于BERT模型对工业触摸屏数据进行自动分类打印;(5)基于前后端分离架构模式实现数据远程监测与打印功能,使用HTML、CSS、Java Script以及Java语言编写客户端显示界面,实现多平台数据监测和远程打印功能,打破了时间和空间的约束,提高了系统的灵活度和可靠性。最后,对转接模块系统进行综合评测,从功能需求、性能需求两个方面进行测试,并对转接模块系统使用前后的效果进行对比,实验结果表明本文提出的各种设计方案均达到预期目标,具有一定的工程实用价值。

关键词： 嵌入式系统   单片机   软件开发  

摘要： 随着信息科技应用手段的逐步发展，嵌入式信息系统已经成功取得了很大的工业进步与技术提高,并涉及社会生活的方方面面。嵌入式作业系统发展需要前期花费的具体维护应用成本也随之不断增加。本文就自动编码技术在传统嵌入式作业系统的应用过程中的具体维护情况展开了深入研究，先详细概述自动编码的各种技术，然后详细分析在传统嵌入式应用系统中使用自动编码系统开发产品所起到的具体维护效果。

关键词： 流速   沉积物   嵌入式系统   NB-IoT   无线传感器网络  

摘要： 市政排水管道是现代化城市基础建设的重要组成部分,一旦出现故障就会影响社会生产秩序和日常生活,甚至危害人民生命财产安全。由于市政给排水管道通常深埋地下,应用环境较为特殊,难以依靠人工作业进行实时检测和维护,因此在故障发生的第一时间不能及时发现问题并进行维修。由于我国城市化进程不断加快,城市地下管线的总长度和密度不断增加,管道在线检测的需求日益增加。为了实现市政给排水管道运行状况的在线检测,本文设计一种基于窄带物联网技术(Narrow Band Internet of Things,NB-Io T)的智能管道检测系统,检测终端可以获取管道内相关检测信息,通过无线通信模组将检测数据实时上传,并提出了一种复杂区域内多传感器网络优化部署算法。该系统主要包括检测电路、数据通信电路和控制电路三个部分。其中检测电路主要完成管道液位、流速、沉积物和水质检测。管道液位、流速、沉积物的检测主要利用非接触式检测手段完成,水质检测主要完成检测管道内溶解性固体总量(Total dissolved solids,TDS)值和p H值两个指标的检测。数据通信电路以BC20 NB-Io T无线通信模组为核心进行硬件电路设计,将设备通过蜂窝(2G/3G/4G)网络接入物联网云平台。控制电路采用STM32F103RCT6为主控芯片,基于Free RTOS实时操作系统完成检测任务的调度与切换、NB-Io T无线通信模组的控制与通信以及系统整体低功耗控制等功能。最后对制作完成的样机进行各个模块和整机的功能测试,表明本文设计的系统基本满足预期设计液位检测误差±2cm、流速误差±10%、沉积物检测厚度检测误差±5cm、p H检测误差±0.1、TDS检测误差±10%等设计指标。

关键词： 病理会诊   显微镜   流媒体   RTSP   嵌入式系统  

摘要： 病理会诊是医院中病理科的日常工作之一,其目的是集思广益,通过征询多种意见来提高病理学诊断的质量,从而针对不同患者的情况制定更好的治疗方案。随着数字化、网络化和高清视频技术的进一步融合发展,信息化的病理会诊受到越来越多的关注。在病理科检查中,显微镜镜检是最基础的检查手段,它可以进行活组织切片检查,细胞检查等。光学显微镜结构简单,使用广泛,是病理科必备仪器;但在病理会诊时,医生们无法同时观看光学显微镜下的画面,降低了医生们沟通的效率,影响了会诊的进行。现今提出的一些解决共览问题的方案存在着操作不便,价格昂贵等问题,对基层医疗系统来说压力很大。针对以上问题,本文基于传统光学显微镜开发了一款适合病理会诊的显微镜共览系统,医生们可以在同一无线局域网下使用手持设备同时观看显微镜画面,实现科内会诊,也可以在互联网上传输镜下画面,实现远程病理会诊。此系统可以满足医生们会诊的需求,方便病理医生沟通交流,帮助基层病理科提高诊断水平。为实现该项目,本文首先对系统进行了需求分析,根据具体功能需求将系统划分为多个功能模块,分别是图像采集与编码模块、流媒体分发模块、系统管理模块和系统升级模块,这使系统的架构更为清晰,也方便后续开发。此后根据系统需求选择了高性能且具有视频处理单元的RK3399核心开发板作为系统开发平台,围绕视频流的生成与传递,对系统进行了详细设计。使用V4L2框架完成了从摄像机采集图像并传递给编码单元的工作,之后利用RockChip提供的MPP视频处理平台进行了视频硬件编码单元的实现,大大提高了视频编码效率,降低了CPU占用。为了实现视频流分发,系统内部实现了一个RTSP流媒体服务器,提供了局域网的视频分发功能,使医生可以在科内会诊时实时观看镜下画面。因系统主要用于医疗过程,故需要较高的可靠性和可维护性,本文特意开发了系统升级模块来更好地维护系统,方便后期系统升级。系统模块众多,为更好地对系统进行管理与调度,本文开发了一整套系统管理模块来控制各模块工作,利用HTTP协议实现了系统管理接口,用户可以通过接口对系统进行各种控制,简化用户配置过程。最后本文对设计好的系统进行测试,保证其满足实时性与可靠性要求。本文开发的显微镜共览系统可以在不影响显微镜日常使用的情况下,让病理医生使用移动设备同时观看显微镜画面来进行病理会诊,增强了传统光学显微镜的功能,帮助基层病理科在投入较小的情况下实现数字化诊断,提高基层病理科诊断水平。

关键词： 图像识别   嵌入式系统   改进的Alex Net   Android系统  

摘要： 随着人民生活质量的提高,对果蔬的消费水平也直线上升,导致其销售量的增长以及对工作量的增大。因此将人工智能技术应用在果蔬的销售上来减少工作量以及提高工作效率。同时考虑到嵌入式设备系统在日常生活中应用的方便与快捷,本文设计了一套基于Android系统平台的嵌入式果蔬图像识别系统,应用于日常生活中对果蔬的售卖环节中。针对果蔬图像识别研究,提出了一种改进的Alex Net网络结构并基于Android系统平台设计嵌入式果蔬图像识别App。本文选取Alex Net作为核心网络框架,对Inception以及Res Net的结构优化模块进行分析,引入不同尺度的卷积核,提出一种具有多通道卷积以及“shortcut”结构的改进的Alex Net网络结构实现对果蔬图像的识别功能,结果表明,该网络模型对果蔬图像识别率为96.99%,识别时间为2.45s;并对Android系统开发环境进行搭建以及配置Open CV函数库实现对果蔬识别算法的调用,通过SQLite数据库构建果蔬识别信息数据库,对Android系统中相机功能进行调用实现果蔬图像识别App的设计,结果表明,嵌入式系统的识别率为94.00%,识别时间为3.39s。本文对改进的Alex Net算法进行多方面对比实验测试以及嵌入式系统和PC端实验对比,实验结果表明,本文提出的网络结构能够较好地应用于嵌入式系统设备中并实现嵌入式系统对果蔬识别研究功能。

关键词： 嵌入式系统   家居安防   无线传输   Linux  

摘要： 随着科技的发展和社会的进步,人们对于居家生活的品质要求逐渐提高。在物联网与嵌入式技术飞速发展的带动下,三星、海尔、小米等众多大型企业纷纷踏入智能家居产品的研发领域,现代居家模式形成了全球性的变革。在传统居住环境日益暴露诸多安全隐患的背景下,为适应现代家庭智能、便捷、高效的安防需求,智能家居安防系统孕育而生。但在实际生活中大部分智能安防系统存在着开发成本高、操作不便、用户体验不佳等问题,无法满足现代家庭在实际情况中的安防需求。因此本文设计开发了基于嵌入式技术的家庭智能安防系统,实现了兼具实用性、可靠性与个性化的智能安防系统。结合智能家居安防系统的发展背景与意义,本文在研究国内外研究成果的基础上,对基于嵌入式技术的智能家居安防系统进行设计与开发。该系统从低成本、低功耗的角度入手进行软硬件模块的设计,对温湿度、可燃气体种类和浓度以及摄像头视频信号进行全方位采集。用户可通过客户端对电气设备进行开关控制,并实现对家庭燃气与环境的实时视频监控。设计主要包含了客户端、服务器端、感应端以及无线传感网络四个模块。采用Qt技术进行客户端的界面设计。服务器端使用韩国三星公司研发的Exynos4412芯片为核心处理器,以Linux作为嵌入式操作系统对服务器进行移植。感应端使用stm32微处理器,通过温湿度传感器、MQ-2烟雾传感器等进行信息采集。无线通信模块使用Zigbee无线传感网络技术,以实现数据传输。最后通过上述设计,本项目自主搭建了智能安防系统的测试平台,系统的各项运行效果基本完成设计预期。通过对家庭智能安防系统的性能与安全性进行测试,测试结果表明:系统操作界面简洁高效,用户可根据摄像头、传感器以及家电控制功能对家庭环境进行远程监控与实时管理,并且用户能根据服务器端对火灾的预警及早做出防范。总体而言,本系统在各项测试中运行稳定,基本达到开发与维护成本低、操作便捷且运行可靠的预期要求,在家庭智能安防系统行业内具备一定的使用价值。