數(shù)字全息成像是生物醫(yī)學(xué)成像中常用的顯微鏡技術(shù)。用于揭示樣本的豐富光學(xué)信息。常見的圖像傳感器只對入射光的強(qiáng)度做出響應(yīng)。因此，重建涉及光學(xué)相位檢索的傳感器以數(shù)字方式記錄的全息圖的完整 3D 信息，一直是數(shù)字全息術(shù)中一項耗時且計算量大的挑戰(zhàn)性任務(wù)。

近日，加州大學(xué)洛杉磯分校的研究團(tuán)隊開發(fā)出一種新的全息相位檢索技術(shù)，可以快速重建樣品的微觀圖像，與現(xiàn)有方法相比，可加速50倍。研究結(jié)果首次證明了使用循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）進(jìn)行全息成像和相位恢復(fù)，所提出的框架將廣泛適用于各種相干成像模式。

該研究于5月26 日以「使用循環(huán)神經(jīng)網(wǎng)絡(luò)進(jìn)行相位恢復(fù)和自動對焦的全息圖像重建」(Holographic Image Reconstruction with Phase Recovery and Autofocusing Using Recurrent Neural Networks)為題發(fā)表在《ACS光子學(xué)》（ACS Photonics）雜志上。

全息術(shù)（holography）又稱全息照相術(shù)，指在照相膠片或干板上通過記錄光波的振幅和位相分布并再現(xiàn)物體三維圖像的技術(shù)。全息術(shù)作為一種強(qiáng)大的生物樣品成像工具，只需最少的樣品制備，無需染色、固定或標(biāo)記。

過去幾十年，數(shù)字全息術(shù)取得了令人矚目的進(jìn)步，尤其是在圖像重建和定量相位成像 (QPI) 方法方面。

最近，基于深度學(xué)習(xí)的相位檢索算法被證明可以使用訓(xùn)練有素的神經(jīng)網(wǎng)絡(luò)重建全息圖。此外，還通過端到端神經(jīng)網(wǎng)絡(luò)推理過程直接在原始全息圖上實現(xiàn)了基于深度學(xué)習(xí)的相位檢索。與傳統(tǒng)的迭代相位恢復(fù)方法相比，基于深度學(xué)習(xí)的算法通過神經(jīng)網(wǎng)絡(luò)在單次（即沒有迭代）傳遞中創(chuàng)建無斑點和雙圖像偽影的對象重建。

現(xiàn)在，研究人員提出了一種新的基于深度學(xué)習(xí)的全息圖像重建和相位檢索算法，該算法基于循環(huán)神經(jīng)網(wǎng)絡(luò) (RNN)，使用生成對抗神經(jīng)網(wǎng)絡(luò)（GAN）進(jìn)行訓(xùn)練。

用于RH-M和RH-MD培訓(xùn)的GAN框架

該技術(shù)利用深度學(xué)習(xí)訓(xùn)練的循環(huán)神經(jīng)網(wǎng)絡(luò)，并結(jié)合了多個全息圖的空間特征，以數(shù)字方式創(chuàng)建樣本的全息顯微鏡圖像，例如人體組織載玻片。提高了圖像質(zhì)量、加快了重建速度，同時還增強(qiáng)了重建樣本的景深。

兩種方法

RH-M：循環(huán)全息 (recurrent holographic，RH) 成像框架使用多元 (multiple，M) 輸入全息圖，這些全息圖使用零相位反向傳播到公共軸平面上，在其輸出推斷中同時執(zhí)行自動聚焦和相位檢索。

RH-MD：通過使用擴(kuò)張 (dilated，D) 卷積核增強(qiáng) RH-M，相同的自動聚焦和相位檢索性能，而無需任何自由空間反向傳播 (FSP) 步驟；也就是說，獲取的對象的原始全息圖直接用作訓(xùn)練 RNN 輸入，用于在其輸出處進(jìn)行對焦圖像重建，稱為 RH-MD。更適用于相對稀疏的樣本，巴氏 (Pap) 涂片樣本的全息成像證明了它的成功。

RH-M方法

RH-MD方法

與現(xiàn)有的相位檢索和全息圖像重建算法相比，RH-M 和 RH-MD 框架的優(yōu)勢體現(xiàn)在：卓越的重建質(zhì)量和速度，以及通過自動對焦功能擴(kuò)展景深（DOF）。

研究表明，對于肺組織切片成像，相比現(xiàn)有的基于深度學(xué)習(xí)的全息重建方法，RH-M 在幅度均方根誤差(RMSE) 方面質(zhì)量提高了 40%。與使用相同輸入全息圖的迭代相位檢索算法相比，RH-M 的推理速度快了 15 倍。

使用 RH-M 的全息成像

為了證明 RH-M 在相位恢復(fù)和自動聚焦方面的功效，研究人員使用人肺組織切片訓(xùn)練和測試了 RNN，并使用無透鏡的在線全息顯微鏡對其進(jìn)行成像。采用三張訓(xùn)練載玻片和一張測試載玻片。（所有這些組織樣本均取自不同的患者）在訓(xùn)練階段，RH-M隨機(jī)取M=2個輸入全息圖，隨機(jī)樣本到傳感器的距離范圍為350-550 μm；然后將這些隨機(jī)選擇的全息圖中的每一個傳播到z2= 450 μm。所得復(fù)雜場的實部和虛部用作 RH-M 模型的訓(xùn)練輸入。

在盲測階段，為了證明訓(xùn)練的 RNN 模型的可行性，在 423.7 μm和 469.7 μm 的樣本到傳感器距離處捕獲了測試載玻片的 M = 2 個全息圖（來自不同的患者，未在訓(xùn)練期間使用）。

肺組織切片的全息成像

為了進(jìn)一步分析 RH-M 推理性能，研究人員在訓(xùn)練后的RNN中輸入M = 2個不同散焦距離組合的全息圖（Δz2,1和 Δz2,2），研究結(jié)果表明，首先，當(dāng) Δz2,1 = Δz2,2對應(yīng)于兩個輸入全息圖相同的情況時，所提出的框架是成功的。其次，兩個輸入全息圖之間的軸向距離更有利于對RH-M進(jìn)行更好的推斷。

超參數(shù) M 是影響 RH-M 性能的關(guān)鍵因素之一。通常，具有較大 M 的網(wǎng)絡(luò)學(xué)習(xí)輸入全息圖的高階相關(guān)性以更好地重建樣本的復(fù)雜場，但也容易在小訓(xùn)練數(shù)據(jù)集上過度擬合并收斂到局部最小值?？偠灾?，RH-M 受益于更高多樣性和更大 M 的訓(xùn)練集。

使用 RH-MD 的全息成像

RH-MD擴(kuò)大了神經(jīng)網(wǎng)絡(luò)的感受野，RH-MD能夠在不增加可訓(xùn)練參數(shù)數(shù)量的情況下處理更大范圍的衍射圖案，同時也開辟了直接從原始輸入全息圖進(jìn)行相位恢復(fù)和自動聚焦的可能性。

為了證明這種能力，研究人員在相同的無透鏡全息顯微鏡平臺成像的巴氏涂片樣本上訓(xùn)練和測試了 RH-MD 框架。結(jié)果表明：與 RH-M 不同的是，RH-MD 使用原始輸入全息圖，而無需在上進(jìn)行任何自由空間反向傳播。

當(dāng)在相同的高度(Δz2,1 = Δz2,2)獲得輸入全息圖時，RH-MD比RH-M更具魯棒性。

RH-M和RH-MD的巴氏涂片全息成像(M = 2)

值得注意的是，RH-MD 的這些優(yōu)點是相對于較稀疏的樣本（例如此處報道的巴氏涂片載玻片）；然而，對于連接的組織切片，RH-MD 推理性能與 RH-M 相比顯著降低。因此，與 RH-M 不同，樣本稀疏性是使用 RH-MD 進(jìn)行盲相位檢索、全息圖像重建和自動對焦的要求。

廣泛適用性

論文一作 Luzhe Huang表示：「我們的結(jié)果在圖像質(zhì)量、自由度和推理速度方面優(yōu)于現(xiàn)有的相位檢索和全息圖像重建方法。這種基于 RNN 的圖像重建方法為各種相干顯微鏡模式和相關(guān)應(yīng)用開辟了新的機(jī)會。」

加州大學(xué)洛杉磯分校電子和計算機(jī)工程的校長教授、加州納米系統(tǒng)研究所的副主任、該研究的高級通訊作者 Aydogan Ozcan說：「該框架可廣泛適用于各種生物醫(yī)學(xué)成像模式，例如熒光顯微鏡，以有效利用一系列獲得的圖像來快速準(zhǔn)確地創(chuàng)建樣本體積的 3D 重建?！?/p>

論文鏈接：https://pubs.acs.org/doi/10.1021/acsphotonics.1c00337

參考內(nèi)容：https://techxplore.com/news/2021-06-faster-holographic-imaging-recurrent-neural.html