面向显微高光谱病理图像的自监督学习及分割方法研究

组织病理学分析方法是肝胆疾病诊断的金标准,但病理医生由于疲劳、经验差异的因素,会造成诊断误差。随着人工智能的快速发展,结合医学病理图像的智能诊断技术可以一定程度上缓解医生压力。高光谱图像相比于彩色图像,包含了更丰富的光谱信息,高光谱成像技术与深度学习相结合的方法在医学领域展现出了巨大潜力。然而显微高光谱病理图像分析任务中存在一些难题。首先,由于病例少,高光谱病理图像数据集的数据量小,而且标注病理图像十分耗费精力,FG-4592化学结构存在标签获取困难的问题。其次,高光谱图像中密集且连续的光谱波段会导致信息冗余高,影响任务表现。最后,由于标注难度大、精力有限的问题,部分高光谱病理图像数据集的标签存在质量低、精细度不selleckchem足的现象。针对显微高光谱病理图像标签获取困难的问题,自监督学习可以通过大量无标签数据进行无监督预训练,再配合使用少量有标签数据微调后能够取得优异表现。但由于数据量小,高光谱病理图像并不适合直接应用自监督学习。所以本文提出了基于Vision Transformer(Vi T)的彩色图像到高光谱图像(RGB2HSI)权重膨胀算法,通过该算法,大规模彩色图像数据集的预训练模型可以直接迁移至针对高光谱图像设计的Vi T模型中,通过自监督域自适应以及微调后,模型在显微高光谱图像分割任务上的表现得到大幅提升。针对高光谱图像信息冗余的问题,本文提出了分组残差编码技术,以视频残差编码为参考,对高光谱图像分组、重新编码,去除重复波段信息。在此基础上,本文提出了基于分组残差编码的图像块映射层的高光谱病理图像分割网络(mutagenetic toxicityGrouped Residual Encoded Patch-embedding Layer,GREPe L),重新设计了Vi T的图像块映射层,使其能够去除高光谱图像的冗余信息,高效地提取空间-光谱信息,与此同时本文还将网络与提出的基于Vi T的RGB2HSI权重膨胀算法相结合,进一步提高在显微高光谱图像分割任务上的表现。本文利用显微高光谱成像系统采集了肝癌病理数据,对采集图像进行了预处理,在病理学家的指导下为采集到的数据提供了逐像素标注并制作了显微高光谱肝癌病理分割数据集。本文将提出的方法在采集的显微高光谱肝癌病理分割数据集以及显微高光谱胆管癌病理公开数据集上验证方法的有效性。由于部分高光谱病理图像数据集的标签存在质量低、标签噪声大的现象,本文在病理学家的指导下重新精细标注了高光谱胆管癌病理数据集的部分数据,并将提出的方法结合半监督学习,利用少量高质量标签代替大量低质量标签,减少标注时的工作量,提高标注效率,并且使网络在分割任务上的表现更好。本文提出的基于Vi T的RGB2HSI权重膨胀算法和设计的基于GREPe L的高光谱病理图像分割网络在显微高光谱肝癌病理图像分割任务中取得了78%的m Io U、86.94%的m Dice、91.25%的准确率和73.91%的Kappa。结合半监督学习后,在重新精细标注后的显微高光谱胆管癌病理数据集分割任务中取得了79.68%的m Io U、88.19%的m Dice、92.85%的准确率和76.4%的Kappa。实验结果表明本文所提出方法在可以有效地对癌变区域和正常区域进行区分,提高高光谱肝胆病理图像辅助诊断的效率和准确性,该方法未来具有实际应用前景。