在开始贡献之前，请先阅读CONTRIBUTING。 谢谢！
-目前ACL_PyTorch仓库已有模型398个
+目前ACL_PyTorch仓库已有模型401个
注意：
在提交新模型时，请加上模型ID用于区分，为防止重复提交模型，请执行脚本get_modelID.py，该脚本会自动检索ACL_PyTorch仓库中所有与您提交模型相关的已有模型，请自行查看脚本给出的链接，如果均不同，则可以输入1或true用于获取模型ID。由于该脚本使用正则匹配，后续新模型刷新到主页需要添加README内容时，格式请参考其余模型，并且同步刷新上文模型数量。脚本执行方式如下：
@@ -4654,6 +4654,7 @@ python3 get_modelID.py --model your_model_nameROC_AUC mel_loss 300I Pro +800I A2 100313 @@ -4824,7 +4825,7 @@ python3 get_modelID.py --model your_model_name
多尺度 - +100321 + 100409 whisper @@ -4837,6 +4838,34 @@ python3 get_modelID.py --model your_model_name
67.32(bs1) bs x 80 x 3000 + +100410 + + CosyVoice2 + +代码仓提供 ++ + + + 0.75 +0.28 +多尺度 ++ 100411 + + whisperx + +librispeech dev clean ++ 0.050 ++ + + 70（转录比） +多尺度 +Knowledge
@@ -5258,6 +5287,36 @@ python3 get_modelID.py --model your_model_name
多尺度 +OCR
++
++ +ID +Name +Dataset +精度 +300I Pro最优性能（对应bs） +800I A2最优性能（对应bs） +输入shape ++ +overall_EN +overall_CH ++ + +100408 + + MinerU-ocr + +OmniDocBench +0.1588 +0.2527 ++ + 多尺度 +RL
diff --git a/ACL_PyTorch/built-in/ocr/MinerU/README.md b/ACL_PyTorch/built-in/ocr/MinerU/README.md index cdf01eb0ea57ab63777d4a2e3da27ce279acc74f..af345076b8c1e53ee78a9d3e24d245f2947f81cf 100644 --- a/ACL_PyTorch/built-in/ocr/MinerU/README.md +++ b/ACL_PyTorch/built-in/ocr/MinerU/README.md @@ -154,7 +154,8 @@ python3 infer.py --data_path=OmniDocBench_dataset --model_source=local 使用`OmniDocBench`数据集配套评测代码测试精度。 1. 推理结果整理 -将解析结果文件夹中的markdown文件整理放置于同一目录，本例将所有markdown文件存放于OmniDocBench_dataset目录下的results_md文件夹 + + 将解析结果文件夹中的markdown文件整理放置于同一目录，本例将所有markdown文件存放于OmniDocBench_dataset目录下的results_md文件夹 ``` cp OmniDocBench_dataset/output/*/auto/*.md OmniDocBench_dataset/results_md/ ``` @@ -164,13 +165,15 @@ python3 infer.py --data_path=OmniDocBench_dataset --model_source=local ``` git clone https://github.com/opendatalab/OmniDocBench.git cd OmniDocBench + git reset --hard dc96d812d219960773399c02ae8f89e4706120d4 conda create -n omnidocbench python=3.10 conda activate omnidocbench pip install -r requirements.txt ``` 3. 测评配置修改 -修改`OmniDocBench`测评代码中的config文件，具体来说，我们使用端到端测评配置，修改configs/end2end.yaml文件中的ground_truth的data_path为下载的OmniDocBench.json路径，修改prediction的data_path中提供整理的推理结果的文件夹路径，如下： + + 修改`OmniDocBench`测评代码中的config文件，具体来说，我们使用端到端测评配置，修改configs/end2end.yaml文件中的ground_truth的data_path为下载的OmniDocBench.json路径，修改prediction的data_path中提供整理的推理结果的文件夹路径，如下： ``` # -----以下是需要修改的部分 ----- dataset: @@ -178,11 +181,12 @@ python3 infer.py --data_path=OmniDocBench_dataset --model_source=local ground_truth: data_path: ../OmniDocBench_dataset/OmniDocBench.json prediction: - data_path: ../OmniDocBench_dataset/result_md + data_path: ../OmniDocBench_dataset/results_md ``` 4. 精度测量结果 -配置好config文件后，只需要将config文件作为参数传入，运行以下代码即可进行评测： + + 配置好config文件后，只需要将config文件作为参数传入，运行以下代码即可进行评测： ``` python pdf_validation.py --config ./configs/end2end.yaml ``` diff --git a/ACL_PyTorch/built-in/ocr/MinerU/doclayout_yolo.patch b/ACL_PyTorch/built-in/ocr/MinerU/doclayout_yolo.patch index 7cf22c0b32204da3a0f7529818fa771bd739fe1b..b5fd6669aa2dec34a5a4038305bb63deabe8c673 100644 --- a/ACL_PyTorch/built-in/ocr/MinerU/doclayout_yolo.patch +++ b/ACL_PyTorch/built-in/ocr/MinerU/doclayout_yolo.patch @@ -47,4 +47,4 @@ diff -ruN doclayout_yolo-0.0.4/doclayout_yolo/utils/tal.py doclayout_yolo-0.0.4_ - stride_tensor.append(torch.full((h * w, 1), stride, dtype=dtype, device=device)) + # stride_tensor.append(torch.full((h * w, 1), stride, dtype=dtype, device=device)) + stride_tensor.append(torch.ones((h * w, 1), dtype=dtype, device=device)*stride) - return torch.cat(anchor_points), torch.cat(stride_tensor) \ No newline at end of file + return torch.cat(anchor_points), torch.cat(stride_tensor) diff --git a/ACL_PyTorch/built-in/ocr/MinerU/ultralytics.patch b/ACL_PyTorch/built-in/ocr/MinerU/ultralytics.patch index 4fab87d6054cf5d7128bb382e97b4cc33f6f6951..5511fa6a9e750819a60e1d89c46380d4548cd49d 100644 --- a/ACL_PyTorch/built-in/ocr/MinerU/ultralytics.patch +++ b/ACL_PyTorch/built-in/ocr/MinerU/ultralytics.patch @@ -74,4 +74,4 @@ diff -ruN ultralytics-8.3.193/ultralytics/utils/tal.py ultralytics_/ultralytics/ - stride_tensor.append(torch.full((h * w, 1), stride, dtype=dtype, device=device)) + # stride_tensor.append(torch.full((h * w, 1), stride, dtype=dtype, device=device)) + stride_tensor.append(torch.ones((h * w, 1), dtype=dtype, device=device)*stride) - return torch.cat(anchor_points), torch.cat(stride_tensor) \ No newline at end of file + return torch.cat(anchor_points), torch.cat(stride_tensor)