00_医疗影像分割综述.md · Gin/IDC医学病理图像识别

## 医学影像种类与存储

- 
  X线设备

是通过测量透过人体的X线来实现人体成像的，即利用人体各组织的密度和厚度不同，X线穿过后的衰减程度不同，来显示身体内部的形态影像。

- 磁共振成像设备

是通过测量构成人体组织元素的原子核发出的磁共振信号来实现人体成像。MRI可反映人体分子水平的生理、生化等方面的功能特性。

- 常规MRI检查(常规MR成像序列)

是指以常规T1WI和T2WI为主的磁共振成像技术，主要显示人体器官或组织的形态结构及其信号强度变化

- 超快速成像序列的MRI检查

能够评价器官的功能状态，揭示生物体内的生理学信息，统称为功能磁共振成像，或功能性成像技术。

- 弥散加权成像 (DWI) 技术

弥散 (diffusion) 是描述水和其他小分子随机热运动(即布朗运动) 的术语，水分子的净移动可通过表观弥散系数 (ADC) 描述

- 超声成像设备

分为利用超声回波进行探测、超声诊断仪根据其显示方式不同，可分为A型、B型、D型 (多普勒成像) 、M型等

- 医用内镜

是能够直观地观察人体内部器官的形态的设备，相对其他影像设备其诊断准确性更高最常见的有光导纤维内镜和电子丙镜

- 计算机断层扫描(CT)

根据所采用的射线不同可分为:X射线CT(X-CT) 、超声CT (UCT) 以及y射线CT(y-CT)等。

### 主流存储方式DICOM

DICOM (医学数字成像和通信标准) 是Digital Imaging and Communications inMedicine的英文缩写。

DICOM被广泛应用于放射医疗，心血管成像以及放射诊疗诊断设备 (X射线，CT，核磁共振，超声等)

DICOM标准的推出与实现，大大简化了医学影像信息交换的实现，推动了远程放射学系统、图像管理与通信系统(PACS广的研究与发展，并且由于DICOM的开放性与互联性，使得与其它医学应用系统 (HISRIS等) 的集成成为可能。

MHD/RAW

- mhd/raw格式来源于(LUNA2016)。其中mhd文件里面包含的是raw文件(原始影像信息) 的一些头信息 (元数据)比如图片大小，拍摄日期等
- Mhd文件很小但raw文件通常较大，包含着三维的图像信息。

NRRD

- Nrrd格式包含元数据和RAW信息，并进行了压缩

### 影像分割的目标

对医学、生物影像中的器官组织或细胞进行分割，即判断出影像中的每一个像素点是否属于器官、组织或细胞。

## 影像分割任务及数据集

前列腺组织、前列腺癌的影像表现

![image-20230326204522082](C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\image-20230326204522082.png)

左: T2WI影像所示的中央区和移行带(蓝色圈)外周带 (青色圈)

中: T2WI影像所示的外周带前列腺癌(表现为低信号）

右: T2WI影像所示的中央区和移行带前列腺癌 (表现为低信号）

对MRI影像中的前列腺组织进行分割，即判断出影像中的每一个像素点属于或不属于前列腺组织。

![image-20230326204824991](C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\image-20230326204824991.png)

数据集下载地址: https://promise12.grand-challenge.org/download/

数据分为训练数据(共50例)和test测试数据共30例)

影像数据都是以mhd和raw格式保存的前列腺MRI影像数据。

训练数据中名字带有segmentation的表示对应MRI图像的标注文件。

### 目标函数Dice系数

Dice距离用于度量两个集合的相似性。可用于用于计算两个字符串的相似度和图形掩码X域的差异。

在形式上，Dice 系数和Jaccard指数 (A交B除以A并B) 没多大区别，可以相互之间进行转换。Dice 系数的取值范围为0到1。
$$
s = \frac{2|x \bigcap y| }{|x|+|y|}
$$

### 弹性变形

在原有点阵上，叠加正负向随机距离形成插值位置”矩阵，计算每个插值位置上的灰度，形成新的点阵[Simard,20037可实现图像内部的扭曲变形。可实现图像内部的扭曲变形。

## 影像分割模型

### U-Net

全卷积神经网络，输入和输出都是图像，没有全连接层

改进版：https://github.com/mirzaevinom/promise12segmentation

获得PROMISE12 Challenge的第8名。

预处理(增加对比度、去噪)

网络体系结构

数据增强(弹性变形)

filters:

- 卷积核的数目 (即输出的维度)

kernel size:

- 卷积核的宽度和长度。如为单个整数则表示在各个空间维度的相同长度。

padding:

- 补0策略，“same”代表保留边界处的卷积结果，通常使输出shape与输入shape相同。

U-Net的分割效果

在Promise12数据集上的效果训练集上的正确率:95.93%;验证集上的正确率: 87.08%

U-Net的未能解决的一些问题

- 组织器官的顶层截面和底层截面与中部截面差异过大而不易识别

- 不同扫描影像之间有较大的外观变异而不易识别
- 磁场不均匀性引起的伪影和畸变，导致不易识别

### 3D U-Net

三维影像数据在生物医学数据分析中广泛存在，但这样的数据与分割标签的注释却很困难。

因此，以逐片方式对大量3维影像进行注释是繁琐的而低效的，因为相邻的切片显示几平相同的信息。

3D影像数据的完全标注不是创建丰富训练数据集的有效方法。

3D U-NET网络以3D数据作为输入，并用相应的操作来处理数据，包括3D卷积、3D最大池和3D向上卷积层。

假设输入数据的大小为 al x a2 x a3，通道数为 c过滤器大小为f，即过滤器维度为 f x f x f x c过滤器数量为 n。则三维卷积最终的输出为(a1 -f+ 1 ) X ( a2 - f+1) X (a3 -f+1) x n

包括用于分析整个影像的收缩编码器部分和连续扩展的解码器部分以产生全分辨率分割。与二维的U-NET一样，它具有分析路径和合成路径，该架构总共有19069955个参数。

在最后一层中，1X1X1卷积减少了输出通道的数量,标签的数量是3。

结果:

3折交又验证实验中，平均IOU为0.863

### V-Net

U-Net的另一个3D版本

![image-20230326211337212](C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\image-20230326211337212.png)

特点:

- 基于3D卷积的3D图像分割
- 基于Dice 系数的新型目标函数
- 改进数据扩充方法
- 加入残差学习提升收敛

增加PReLU参数修正

网络末尾加一个$1*1*1$的卷积，处理成与输入一样大小的数据接一个softmax，在softmax之后，输出由背景和前景的概率图组成。

具有较高概率(>0.5)的体素属于前景，而不是背景，被认为是组织器官的一部分。

V-Net学习了U-Net的思想，把缩小端的底层特征送入放大端的相应位置帮助重建高质量图像，并且加速模型收敛。每一个stage中也也使用了跃层连接。

训练过程:

使用的动量为0.99;初始学习率为0.0001，每25K次迭代后学习率减小一个数量级

![image-20230326212651782](C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\image-20230326212651782.png)

### FC-DenseNet

探索方向

网络深->ResNet

网络宽->GoogleNet

DenseNet从feature入手，对feature的极致利用达到更好的效果和更少的参数

DenseNet的几大优点

- 减轻了vanishing-gradient (梯度消失)
- 加强了feature的传递性，更有效地利用了feature
- 一定程度上减少了参数数量
- 强调参数有效性，参数使用效率高
- 隐式深层监督，short paths
- 抗过拟合，尤其是训练数据匮乏时

与传统的卷积神经网络不同，在DenseNet中，L层网络会产生L(L+1)/2个连接。
每一层的输入来自前面所有层的输出。

## 病理切片分析

定性分析:是对切片性质特点的一种概括、

- 判断腺体形态

- 判断细胞的良恶性

定量分析:是指依据事实数据，建立数学模型，从而计算出与病变相 关的各项指标。

- 有丝分裂数目
- 肿瘤的实质与间质的比例
- 黏液湖和癌细胞的比例等定量化指标
- 根据定量指标给出病理诊断

![image-20230326213409420](C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\image-20230326213409420.png)

分离出细胞等结构对于病理诊断具有重要意义，但其难点在于:模糊、重叠、异质

解决方案:

利用细胞和细胞核的形态学特征、几何学特征、纹理特征、形状特征等

### 病理切片数据集

数据来源主要是camelyon竞赛的数据

https://camelyon16.grand-challenge.org

https://camelyon17.grand-challenge.org

TIF格式的超大切片图片

xml格式的病灶标注说明

![image-20230326213749172](C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\image-20230326213749172.png)

### 预处理工具

Openslide

官网 http://openslide.org/api/python/

pip install openslide-python

![image-20230326213941395](C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\image-20230326213941395.png)

切片处理工具ASAP
https://github.com/GeertLitjens/ASAP/releases

用途:

截取完整切片的一片区域

xml标注文件转成mask模板图片

![image-20230326214104438](C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\image-20230326214104438.png)

由于异常区域通常位于组织区域的边缘，需要仔细的组织区域提取方法。

通常使用Otsu (大津)阈值或灰度值闯值。

大津法闯值

遍历不同的闯值，计算不同闯值下对应的背景和前景之间的类间方差，当类间方差取得极大值时，即为Otsu网值。

在ROIs（感兴趣区域）从整幅图像中提取之后在ROIs中以步幅128来提取256x256的patch

如果patch中超过75%个像素被注释为肿瘤，则将整个patch标记为肿瘤样本，否则为正常样本。

可使用ResNet-101进行样本分类以区分肿瘤和非肿瘤区域。

然后也可使用一些FCN架构来提取heat map，放入RF等效果较好的分类器中进行分类

![image-20230326215432387](C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\image-20230326215432387.png)

其他实用技巧:

为了肿瘤组织和正常组织在数量上的不平衡，采样时使肿瘤切片/正常切片的数量相同

考虑到每个切片的化学制备差异，为了适应不同H&E染色(苏木精一伊红染色法)的颜色通过施加随机色调、饱和度、亮度和对比度来进行增强色彩

由于病理组织学图像表现出旋转对称性，可通过随机旋转0~360度: 并随机左右翻转的方式实现数据增强。

单尺度与多尺度

![image-20230326215754737](C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\image-20230326215754737.png)

细胞计数

细胞计数首先通过FPN来实现细胞与背景的分割。然后通过VGG来实现计数。

Gin/IDC医学病理图像识别

简介

发行版

贡献者

近期动态

Gin/IDC医学病理图像识别 .gitee-modal { width: 500px !important; }

简介

发行版

贡献者

近期动态

搜索帮助

Gin/IDC医学病理图像识别