项目介绍

缺失角度的拉东变换

透射电镜中可以得到位于不同度的、一系列的投影图像。对这一系列投影图像进行拉东变换,最终可以得到真实图像。

但是,受限于投射仪器、被摄物体状态,投射角度会出现缺失。因此恢复出的图像会出现伪影。例如下图。

因此,本项目使用深度学习模型来填充缺失角度的信息(正弦图),另外去除重建后的伪影(重建图)。

方案

two-step 模型方案。构建两个模型,分别处理正弦图inpainting问题和重建图de-artifacts问题。

结合使用:

  • RaLSGAN(相对判决器损失和最小二乘GAN)
  • MSE和GAN损失的联合损失函数
  • RRDB模型(与ESRGAN中提出的超分辨率重建模型)
  • U-net模型用于去伪影

训练方案如下:

结果

业界常用的方法TVM > SART > WBP .

最终结果Perceptual Index(主观质量)得到最高分。

信噪比PSNR(客观质量)仅次于SART,远高于TVM和WBP。

图中,第二行是FFT变换后图像。可以看出缺失角度的图像,FFT中有明显的缺口。但是联合模型能够有效的填充,并去除重建后的伪影。

测试结果:

分别在脑图,ImageNet和Random Shape 上,WBP, SART和论文方法的测试结果。

真实电镜环境测试结果:

真实电镜下纳米材料测试结果,训练集中不包含此类数据。