一款针对扫描文档的离线文本识别SDK,核心代码全部采用C++开发,并提供Python接口
编译环境: Ubuntu 16.04
多模态大模型宛如当年的互联网浪潮一样,汹涌而来,不可逆转。在不远的将来能否更好地融入多模态大模型生态,对OCR算法来说至关重要。
如何更好地融入多模态大模型生态呢?最简单的方法是先用OCR算法识别出文本行的位置和内容,再将结果以JSON、XML等文本格式输入LLM,这种方法有以下缺点:
因此,我认为端到端文档理解是更可行的技术方案。从算法角度而言,就是需要将图片编码成一维序列,使得TransformerDecoder可以像处理文本一样处理图片。
相关研究:
将CRNN与Transformer Encoder/Decoder相结合,从而使CRNN支持多行文本的识别。标注时不再需要标注文本行的边界框,大大降低标注和开发人员的工作量。适用于弯曲文本等场景。
如果您要识别的图片类似于以下图片,使用现有OCR无法解决时,那么可以试一试多行CRNN。
抢鲜体验: crnn_for_text_with_multiple_lines
如果我们把图像中的物体看成是一个个字符,那么图像识别任务不就是文字识别任务吗?
为了回答这个问题,我在PASCAL VOC数据集上进行了初步的验证,结论是多行CRNN模型不仅可以识别物体的类别,还可以识别物体的个数。不过由于Transformer强大的记忆力,在训练集上比较容易过拟合,需要进行数据增强并提高训练样本数量。
抢鲜体验:
crnn_for_image_recognition
最近大语言模型真的好火,如何将CRNN技术应用到LLM呢?首先需要对多行CRNN进行改造以支持文本输入,只需将卷积特征提取层替换成nn.Embedding即可,为了方便区分,对改造后的模型简称为ChatCRNN。
目前行业内发布的大模型对多位数整数乘法表现较差,有很多研究机构在研究如何解决。通过实验我发现3位整数乘法对ChatCRNN而言还算比较容易学习的,单卡训练半小时内可达到99.99%以上精度。
更多技术细节可以参考我的知乎回答
以前我们经常需要单独训练一个语言模型来对OCR识别结果进行纠错,往后没必要那么麻烦了,因为加入多层TransformerEncoder后CRNN模型已经具备了语言模型的能力。
抢鲜体验: ChatCRNN
https://github.com/myhub/tr/tree/master/v2.8
Install 安装:
pip install tr==2.8.2 -i https://pypi.tuna.tsinghua.edu.cn/simple 说明: 不同版本的精度有差异,新版本精度不一定更高 旧版本安装: + pip install tr==2.8.1 Windows 64位系统安装: pip install tr==2.8.6 -i https://pypi.org/simple/
Example 代码示例:
import tr crnn = tr.CRNN() # 初始化文本行识别网络 chars, scores = crnn.run("imgs/line.png") # 识别文本行 print("".join(chars)) # 打印结果
GUI 截图识别
# 需要安装PyQt5,PIL依赖 python -m tr.gui
由于新型号的显卡需要更高版本的CUDA,GPU版本暂时只支持旧型号的显卡。
如果对速度有要求,推荐安装GPU版本
要使用GPU版本,复制tr_gpu文件夹里面的文件到tr文件夹
注意: 需要先安装CUDA 10.1以及cuDNN 7.6.5。
若不想安装CUDA/cuDNN,可以使用docker部署
docker pull mcr.microsoft.com/azureml/onnxruntime:v1.3.0-cuda10.1-cudnn7 sudo nvidia-docker run -v /path/to/tr:/path/to/tr --rm -it mcr.microsoft.com/azureml/onnxruntime:v1.3.0-cuda10.1-cudnn7
git clone https://github.com/myhub/tr.git cd ./tr sudo python setup.py install
sudo pip install git+https://github.com/myhub/tr.git@master
python2 demo.py # python2兼容测试 python3 test.py # 可视化测试 python3 test-multi-thread.py # 多线程测试 python3 test_crnn_pyqt5.py # 截图识别
import tr # detect text lines, return list of (cx, cy, width, height, angle) print(tr.detect("imgs/web.png", tr.FLAG_RECT)) # detect text lines with angle, return list of (cx, cy, width, height, angle) print(tr.detect("imgs/id_card.jpeg", tr.FLAG_ROTATED_RECT)) # recognize text line, return (text, confidence) print(tr.recognize("imgs/line.png")) # detect and recognize text lines with angle, return list of ((cx, cy, width, height, angle), text, confidence) print(tr.run("imgs/id_card.jpeg"))
tr_init(0, 0, "crnn.bin", NULL); #define MAX_WIDTH 512 int unicode[MAX_WIDTH]; float prob[MAX_WIDTH]; auto ws = tr_recognize(0, (void *)"line.png", 0, 0, 0, unicode, prob, MAX_WIDTH); tr_release(0);
此处可能存在不合适展示的内容,页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容,可点击提交进行申诉,我们将尽快为您处理。