医学图像超分辨率重建论文精度（3）

前些天发现了一个巨牛的人工智能学习网站通俗易懂风趣幽默忍不住分享一下给大家。点击跳转到网站。这篇论文《CuNeRF: Cube-Based Neural Radiance Field for Zero-Shot Medical Image Arbitrary-Scale Super Resolution》ICCV 2023主要解决了医学图像任意尺度超分辨率中的一个关键问题并提出了一个创新的零样本zero-shot学习框架。下面我为你详细解析。一、论文试图解决什么问题1. 现有医学图像超分辨率方法的局限性依赖高分辨率HR图像作为监督信号大多数方法需要成对的低分辨率LR和HR图像进行训练但高质量的HR医学图像在实际中很难获得例如需要长时间扫描、增加辐射剂量。泛化能力差传统方法在训练集和测试集分布不一致时容易生成虚假细节或伪影。无法连续任意尺度上采样许多方法只能支持固定的整数倍放大如×2、×4不能灵活地实现连续尺度的上采样。2. 本文要解决的核心问题如何在只有一张低分辨率医学图像的情况下构建一个连续的体积表示从而实现任意尺度、任意视角的高质量超分辨率重建这就是所谓的“零样本”医学图像任意尺度超分辨率Zero-Shot MIASSR。二、论文提出的方法创新点总体思路作者提出Cube-based Neural Radiance FieldCuNeRF灵感来自NeRFNeural Radiance Field但不用于新视角合成而是用于从单张LR医学图像中学习连续的体积表示进而实现任意尺度和自由视角的图像生成。主要创新点三个关键技术1.Cube-based Sampling基于立方体的采样问题NeRF的射线采样ray sampling在医学图像中会留下“空洞”holes因为医学图像只有三个正交切面不像自然场景有多视角图像。解决CuNeRF不再采样射线而是以每个训练像素为中心采样一个小立方体cube。这些立方体之间有重叠从而覆盖整个表示空间消除空洞和网格伪影。2.Isotropic Volume Rendering各向同性体积渲染问题如果用NeRF的方式对立方体进行体积渲染需要采样 (N^3) 个点计算量巨大。解决假设立方体内的体积密度只与到中心点的距离有关即各向同性从而将三维积分简化为一维径向积分大幅降低计算复杂度。公式上将笛卡尔坐标系下的三重积分转换为球坐标系下的单重积分。3.Cube-based Hierarchical Rendering基于立方体的分层渲染问题NeRF的分层渲染粗细是为了提高渲染质量但直接用在立方体上会引入冗余。解决在立方体内先粗采样估计密度分布再在重要区域高密度进行精细采样并引入自适应渲染损失adaptive rendering loss来缓解过拟合。三、方法的核心优势特点说明零样本学习仅用测试时的单张LR图像训练不需要HR图像监督连续表示可生成任意尺度如×2.3、×5.7的医学图像自由视角可生成任意角度的医学切片辅助诊断减少伪影有效消除NeRF带来的网格状伪影适用多模态在MRI和CT上均表现优异四、实验验证数据集MSDMRI和KiTS19CT对比方法Bicubic、ArSSR、SAINT、TVSRN、NeRF指标PSNR、SSIM结果在各种放大倍数×2 ~ ×8下CuNeRF在PSNR和SSIM上均显著优于现有方法。可视化结果更接近真实HR图像伪影更少。能生成自由旋转视角的医学图像现有方法无法做到。五、总结一句话CuNeRF是第一个零样本、任意尺度、任意视角的医学图像超分辨率方法通过立方体采样、各向同性体积渲染和分层渲染解决了NeRF在医学图像中的空洞和伪影问题实现了从单张低分辨率医学图像中学习连续体积表示的目标。六、开源代码https://github.com/NarcissusEx/CuNeRF