项目介绍

电镜下原子图像会受到较强的光线等的干扰。使用深度学习模型(U-Net++)将受损的原子图像恢复。

例如,如下是电镜下实际观察到的原子图像和模型恢复后的图像。

实际观察到的图像
深度学习模型恢复后的图像

最终效果逼近人眼识别极限。

例子:

左图:真实电镜图;右图:模型恢复结果

左图:模拟强噪声电镜图;右图:模型恢复结果

数据的处理

在本项目中,除了传统增强方法外,还使用了随机缩小,随机局部光照增强的数据增强方法,图像腐蚀和膨胀算法。

训练集:10, 000 测试集: 1, 280 Batch size: 16

传统数据增强方法(随机放大剪裁,随机翻转,随机缩小
随机局部光照增强
图像膨胀和腐蚀

Gan模型

使用U-Net++做为生成模型G。使用对判决模型D增加谱归一化。

损失函数:LSGAN(最小二乘GAN)

fake = G(input)

d_real = D(real),  d_fake = D(fake)

Loss D = (d_real - mean(d_fake - 1) ) ^2 + (d_fake - mean(d_real + 1) ) ^2

Loss G =  (d_real - mean(d_fake + 1) ) ^2 + (d_fake - mean(d_real - 1) ) ^2

U-Net ++

训练策略

Epoch = 180

训练轮次比例。 G : D = 1 : 1

Epoch 1 2 3 4 5 90 140 160
学习速率 2e-5 4e-5 6e-5 8e-5 1e-4 1e-5 1e-6 1e-7

G: Adam: "betas"= (0.9, 0.999)

D: RMSprop: "momentum"= 0