64-猫的薛定谔: TOPIC_ID:64, TEAM_ID:1090721196, TEAM_NAME:猫的薛定谔.

# 64-猫的薛定谔

## 介绍

TOPIC_ID:64, TEAM_ID:1090721196, TEAM_NAME:猫的薛定谔.

### 1.项目背景

条形码是将宽度不等的多个黑条和空白，按一定的编码规则排列，用以表达一组信息的图形标识符。随着科技的迅速发展，条形码技术日趋成熟，在商品流通的各个领域皆有应用。条形码上承载着商品的各种信息，是供应链管理的基础技术，是管理现代化的重要手段之一。对条形码的精确识别大大加快商品流通，增强企业竞争力。

条形码图像识别的流程大致是：采集图像、图像预处理、条形码识别，得到图像中的条形码信息。需要解决好以下两个问题：

- 图像处理问题：

图像处理部分是条码识别的前期工作，需要使用强大的图像处理工具来进行，我们选择的是OpenCv来进行图像的处理，包括图像的读入、条形码区域的裁剪、滤波、二值化处理等，从而得到高质量图像，图像处理的质量直接关系到条码能否正确识别，因此是十分重要的。

- 条形码识别问题：

条形码识别问题就是采用什么方法把图像上的条形码转化成相应的文本信息。当前图像式条形码识别主要采取基于软件编程技术和硬件技术两种方案。与硬件识别系统相比，基于软件编程技术的识别方案具有非接触性、效率高以及成本低廉等优点，识别系统具有较好的灵活性和较低的成本，发展潜力更大。而软件编程识别方式主要有两种：其一是根据条形码编码规则，利用编码原理识别，因为条形码种类多，每种条形码编码方式不同，开发人员不仅要熟悉各种条形码的编码规则，而且要针对每种条形码编写相应的解码程序，具有实现起来难度大、编程量大等缺点。其二是使用开源工具包识别，当前开源工具包主要有Zbar和ZXing，都可用于多种格式条形码。ZBar工具包基于C语言编写，解码效率高。采用识别工具包来进行条形码识别，一可以大大简化编程工作量，二不需要熟悉各种条形码的编码规则，识别工具包都能自行判断；三来识别率高，速度快。

利用OpenCv图像处理工具和Zbar开源的条形码工具包来开发条形码识别程序，可以大大简化程序开发的工作量，我们项目的重点将放在图像的预处理上，致力于提高图像质量从而提高复杂图像如倾斜条码、模糊条码和曲面条码等等的识别速度和识别准确度。小组评估认为，得益于OpenCV和Zbar，完成这个项目是可行的。

### 2.功能描述
![功能描述](https://images.gitee.com/uploads/images/2021/0331/210043_5fd77c46_8433238.png "图片1.png")

#### 2.1运行环境

* python3.7.9 + linux kernel4.19
* numpy 1.16.2
* imutils 0.5.2
* opencv 4.1.0
* pyzbar 
* math

#### 2.2支持的标准
- EAN-8
- UPC-E
- ISBN-10
- UPC-A
- EAN-13
- ISBN-13
- I2/5
- CODE-39
- CODE-128

## 软件架构
### 3.开发思路
#### 3.1整体思路
![整体思路](https://images.gitee.com/uploads/images/2021/0331/211119_36d89e95_8433238.png "图片4.png")

#### 3.2图像分析
测试样例是jpg格式文件，由RGB三通道组成。测试样例中有24位深度和32位深度的图片。使用cv2.CV_32F if imutils.is_cv2() else cv2.CV_32F确定图像深度。
在opencv中，其默认的颜色制式排列是BGR而非RGB。使用BGR2GRAY，过程中去除颜色比例信息。计算公式为Gray = 0.1140*B + 0.5870*G + 0.2989*R。对于24位颜色图像来说，前8-bit是蓝色，中间8-bit是绿色，最后8-bit是红色。32位则是加上了透明度信息。在每一步处理中，基本上都需要归一化为8位的单通道灰度图像。

#### 3.3图像校正
测试样例中有部分图像存在一定的角度误差，由于Zbar识别0°、90°、-90°、180°的条形码效果较好，因此我们要找办法校正图像。
条形码一般具有以下特点：矩形形状，条带是黑色，背景为白色，而且黑白相间，这就导致条形码区域光暗变化明显。
原本我们尝试通过普通的膨胀、腐蚀等基础图像操作、以及cv2中提供的相关函数进行图像校正。发现该方法的准确率较低，以至于影响后续的条形码识别。因此通过查阅相关资料和咨询老师，提出了基于傅里叶变换的图像校正方法。

**基于傅里叶变换的图像校正**
![基于傅里叶变换的图像校正](https://images.gitee.com/uploads/images/2021/0331/210546_e45df850_8433238.png "图片2.png")
* 灰度化
虽然图像是彩色的，但是对于我们获取条形码并没有额外帮助，因此以灰度图形式读入。

* 图像延拓
由于有限长度的信号不能进行傅里叶变换，因此将图像进行延拓。让扩大的图像和源图像左上角对齐。对空白部分填充纯色，进行求谱图和Hough变换后，纯色的影响可以完全忽略。

* 傅里叶变换
离散傅里叶变换，本质就是把离散的时域序列用有限个正弦波和余弦波合成。图像经过傅里叶变换之后得到的谱图，越亮的点，对应于灰度图中对比度越大的点。也就是说，谱图可以用于表征图像中灰度变化剧烈的点，是灰度在平面空间上的梯度的表示。
而条形码从横向来看，光暗变化明显，因此很适合用傅里叶变换获取谱图。得到的谱图应该具有一条明亮的直线，表示图像梯度变化剧烈的位置。因此我们获取亮度直线，就是条形码的横向方位。
通过调用np.fft.fft2()进行二维的快速傅里叶变换(FFT)，即计算m维数组中任意轴上的n维离散傅里叶变换。即将图像从空间域转到频域。然后用np.fft.fftshift()将FFT中输出的将零频率项移动到阵列的中心。对于二维输入，交换第一和第三象限，第二和第四象限。
我们得到的结果是复数形式，用abs()得到实数。然后取对数实现归一化，将数据变换到0-255。

* Hough直线检测
由于霍夫变换要求输入图像是二值化的，因此将傅立叶谱进行二值化。
找出图像中所有的边缘点，对于任何一个边缘点，找出所有可能经过该点的直线。每条直线会对应参数空间中的一个点，而对于一个边缘点的无穷多条直线，可以得到参数空间中的一系列点，从而形成一条曲线。
找到每个边缘点对应的曲线之后，所有曲线的交点一定是原始图像中所有边缘点的共同直线。那么这个交点很有可能表示这原始图像中存在的直线。得到该点的极坐标后计算出直角坐标系下的直线，将直线参数保存在向量组中。

* 找出偏移弧度和角度
弧度直接计算即可。但是通过Hough变换后计算出的角度是存在误差的，由于DFT的特点，只有输出图像是正方形时，检测到的角才是文本真正旋转的角度。但是我们的输入图像不一定是正方形的，所以要根据图像的长宽比改变这个角度。在OpenCV中， 逆时针旋转，角度为正，所以我们要对角度进行对应的变换。

* 图片校正
通过旋转角度，以及之前获得的图片长宽计算出旋转中心等信息，构成旋转矩阵。然后使用该矩阵进行仿射变换，即完成图像的旋转校正。

#### 3.4图像特征增强

部分图像可能存在模糊不清的情况，因此需要增强一些图像的特征以便于下一步操作。

##### 3.4.1锐化

使用锐化内核对RGB图像进行卷积运算，该内核强调在相邻的像素值之间的差异。

![图1 锐化内核](https://images.gitee.com/uploads/images/2021/0331/210631_4d0ea9bc_8433238.png "图片3.png")

#### 3.5条形码定位

条形码定位一般的操作流程是对图像进行预处理，使用如canny算子等进行边缘检测，然后调用findContours定位条形码的矩形区域。

* 提取图像边缘
在计算水平垂直梯度差时，我们首先尝试使用的是Sobel算子。Sobel算子可以有效的提取图像边缘，但是对图像中较弱的边缘提取效果较弱。对于噪音较多的现实图像，处理情况不理想。
然后我们通过对比canny算子、拉普拉斯算子等发现，Scharr算子对于条形码检测更合适。因为Scharr算子对于图像梯度的变化更加敏感，更有利于获取条形码的特征。因此用Scharr算子计算x，y方向上的梯度，之后在x方向上减去y方向上的梯度，通过这个减法，我们留下具有高水平梯度和低垂直梯度的图像区域。

* 去除噪声（腐蚀、膨胀、开运算、闭运算）
然后使用4*4的内核进行均值滤波，去除部分椒盐噪声。然后进行二值化以便于形态学操作。再使用(21, 7)的矩形内核进行闭运算，即先膨胀后腐蚀。可以填平小孔，但是不改变整体形状和位置。发现图像上还有一些小的白色斑点，会影响之后的条形码轮廓检测，因此要去除。
通过进行四次腐蚀运算，再进行四次膨胀运算进一步去除噪声。

* 寻找条形码轮廓
调用函数cv2.findContours()寻找轮廓，确定轮廓的旋转边界框，确定位置信息，画出检测框。

## 安装教程

1.  下载程序：`git clone https://gitee.com/openeuler2020/team-1090721196.git`
2.  进入程序目录：`cd team-1090721196/Program`

## 使用说明

1.  第一次运行建议使用脚本启动，便于检查环境依赖：`bash start.sh`
2.  运行正常后，为了减少不必浪费的时间，可以直接运行主程序：`python3 distinguish.py`

## 5.测试方法及结果
根据比赛方所提供的数据，我们先针对以下测试案例进行测试。
### 5.1常规测试样例
#### 5.1.1测试案例一
<img src="https://images.gitee.com/uploads/images/2021/0331/224114_f56583ba_8433238.png" width = "400" height = "300" alt="图片5.png" align=center />
<img src="https://i.loli.net/2021/03/31/IMuEbdOXyfKPgNH.png" width = "400" height = "300" alt="图片6.png" align=center />

如上图为一个十分标准的酒瓶子二维码，由于在角度方面无需纠正，但是背景环境比较复杂，所以我们需要先对原图片进行预处理后，通过上述方法后定位了条形码的位置并且通过锐化等去模糊算法，从而提取出其中的条形码并且标识出了条形码的位置。
#### 5.1.2测试案例二
<img src="https://images.gitee.com/uploads/images/2021/0331/224148_82a1574d_8433238.png" width = "400" height = "300" alt="图片7.png" align=center />
<img src="https://images.gitee.com/uploads/images/2021/0331/231346_4fbe5a1b_8433238.png" width = "400" height = "300" alt="WechatIMG1164.png" align=center />

如上图和测试案例一比较相似，背景比较复杂，但是角度为垂直方向，而我们的识别算法对于水平以及垂直方向上的条形码都有很好的识别效果。所以能成功的定位条形码位置并且提取出条形码。
#### 5.1.3测试案例三
<img src="https://images.gitee.com/uploads/images/2021/0331/232346_229cde54_8433238.png" width = "400" height = "300" alt="Unknown.png" align=center />    <img src="https://images.gitee.com/uploads/images/2021/0331/224229_81ee5b54_8433238.png" width = "400" height = "300" alt="图片10.png" align=center />

如上图，该条形码贴于具有一定曲面的瓶子上，从而导致了条形码本身出现了一定程度的曲折，如果直接用pyzbar识别是不可取的。我们首先需要对图片进行矫正，得到一个较为正常的条形码后，再通过去模糊算法从而可以识别出条码位置以及其值。
#### 5.1.4测试案例四
<img src="https://images.gitee.com/uploads/images/2021/0331/224244_f3556233_8433238.png" width = "400" height = "300" alt="图片11.png" align=center />    <img src="https://images.gitee.com/uploads/images/2021/0331/224300_25636b51_8433238.png" width = "400" height = "300" alt="图片12.png" align=center />

如上图所示，该条形码位于瓶子上并且有一定的方位冗余，不再是普通的水平或者竖直方向。我们需要先对整张图片进行快速傅里叶变换，通过其频谱求得需要旋转的角度，再通过霍夫直线变换将整张图片旋转到便于识别的位置后进行识别，就可求出复杂环境下的条形码的识别结果。
#### 5.1.5测试案例五
![原图](https://images.gitee.com/uploads/images/2021/0331/224335_025d8a11_8433238.png "图片13.png")    ![识别后](https://images.gitee.com/uploads/images/2021/0331/224346_a4d21fe5_8433238.png "图片14.png")

该图片拥有较为复杂的背景，所以我们先经过霍夫变换以及一系列的形态学方法进行图片的预处理。然后在对于定位出的条形码位置进行识别，从右图上看也是有着比较好的效果。
#### 5.1.6测试案例六
![原图](https://i.loli.net/2021/03/31/KImRLDhBpaeSJHZ.jpg "图片15.png")    ![识别后](https://images.gitee.com/uploads/images/2021/0331/224414_46f50eea_8433238.png "图片16.png")

如上图，我们可以看到被识别的条形码处于图片中的比较小的位置，但是由于其背景并不复杂，所以我们通过对图片灰度化，二值化后，腐蚀及膨胀等一系列操作后，可以找出最大连通区域从而定位出条形码的位置并且能够成功识别。
#### 5.1.7测试案例七
![原图](https://images.gitee.com/uploads/images/2021/0331/224429_03142afb_8433238.png "图片17.png")    ![WechatIMG1242.jpeg](https://i.loli.net/2021/03/31/uTDrgQPbalf3isp.jpg)

如上图，该条形码与常见的条形码不太一样，但是根据条形码其黑白相间以及其距离，我们仍能够调用我们的算法识别出条形码的值。而因为受条形码本身大小以及形状的影响，我们的条形码定位算法也是能够精确找到条码所在位置。
#### 5.1.8测试案例八
![原图](https://images.gitee.com/uploads/images/2021/0331/224452_d3d9a55f_8433238.png "图片19.png")    ![识别后](https://images.gitee.com/uploads/images/2021/0331/224502_b4c4a426_8433238.png "图片20.png")

如上图，图中看见条形码一共四个，通过调用算法，我们仍能够在图片中找出梯度变化最明显的四个区域，即条码所在区域。我们通过定位每个条码所在位置后记录下来放入队列中，并且对队列中的条码进行逐个扫描识别并且输出，最后也能成功识别出位置以及条形码的值。
### 5.2特殊测试案例
为了验证我们模型的对于其他条形码的泛化能力，我们小组额外收集了处于复杂环境下的条形码观察模型的识别结果
#### 5.2.1特殊案例一
<img src="https://images.gitee.com/uploads/images/2021/0331/231834_c4ef169a_8433238.png" width = "400" height = "300" alt="图片23.png" align=center />    <img src="https://images.gitee.com/uploads/images/2021/0331/231919_c124294f_8433238.png " width = "400" height = "300" alt="图片24.png" align=center />

如上图，左图为我们组员手持条形码标签的照片，将该照片输入到我们模型中，我们模型能够自动识别出需要旋转的角度后，再进行识别。可以看到在实际情况下该模型也有较好的表现。
#### 5.2.2特殊案例二
<img src="https://images.gitee.com/uploads/images/2021/0331/224941_89e43d61_8433238.png " width = "400" height = "300" alt="图片25.png" align=center />    <img src="https://images.gitee.com/uploads/images/2021/0331/224958_50f1fb45_8433238.png " width = "400" height = "300" alt="图片26.png" align=center />

如上图我们可以看到，左图为被折皱后的条码，我们模型能够自动忽略上方被弯曲的无效条码而对下方正常的条码位置进行标注并且识别成功，可见在恶劣条形码状态的情况下也有较好的表现。
#### 5.2.3特殊案例三
<img src="https://images.gitee.com/uploads/images/2021/0331/225018_fb04f4b1_8433238.png " width = "300" height = "400" alt="图片27.png" align=center />    <img src="https://images.gitee.com/uploads/images/2021/0331/225030_92fe854b_8433238.png " width = "300" height = "400" alt="图片28.png" align=center />

如左图，为一个瓶子竖立在稍远处，并且瓶上条形码带有一定的曲度，而我们的模型能够先过滤掉瓶子上无关的文字以及多余背景，并且通过裁剪找出条码的区域，再进行图像校正以及识别，也能够成功标识出条码区域。
## 参与贡献

1.  Fork 本仓库
2.  新建 Feat_xxx 分支
3.  提交代码
4.  新建 Pull Request

openEuler2020/64-猫的薛定谔

简介

发行版

贡献者

近期动态

openEuler2020/64-猫的薛定谔 .gitee-modal { width: 500px !important; }

简介

发行版

贡献者

近期动态

搜索帮助

openEuler2020/64-猫的薛定谔