在生物醫(yī)學(xué)研究領(lǐng)域，雙光子成像技術(shù)因其高成像分辨率、大深度和強(qiáng)三維層析能力等優(yōu)點(diǎn)，成為獲取關(guān)鍵高分辨三維信息的重要手段。然而，傳統(tǒng)雙光子顯微鏡成像視場有限，通常在1mm以內(nèi)，極大地限制了其在更廣泛生物醫(yī)學(xué)研究中的應(yīng)用。

為拓展雙光子顯微鏡的成像視場，研究人員嘗試了多種方法。例如，通過設(shè)計(jì)特殊的掃描中繼系統(tǒng)來減小大角度掃描引起的離軸像差，或自制高通量物鏡來實(shí)現(xiàn)更大的成像視場。但這些方法往往實(shí)現(xiàn)難度大、成本高，難以在生物醫(yī)學(xué)研究領(lǐng)域廣泛推廣。

近年來，一種通過自適應(yīng)光學(xué)技術(shù)增加成像物鏡可用視場的方法被提出。然而，該方法需要在光學(xué)系統(tǒng)中增加相位補(bǔ)償器件，這增加了成像系統(tǒng)的光路復(fù)雜性與硬件成本。

在此背景下，來自曲阜師范大學(xué)、香港理工大學(xué)的李遲件團(tuán)隊(duì)提出了一種利用深度學(xué)習(xí)替代自適應(yīng)光學(xué)相位補(bǔ)償從而擴(kuò)展雙光子成像視場的新方法。

深度學(xué)習(xí)帶來的新突破
商用物鏡通常有一個廠商標(biāo)定的成像視場，在該范圍內(nèi)，物鏡像差可忽略，成像質(zhì)量好；超過該視場后，物鏡像差急劇增大，成像質(zhì)量嚴(yán)重劣化。

研究團(tuán)隊(duì)之前通過自適應(yīng)光學(xué)方法使擴(kuò)展視場的成像質(zhì)量與信噪比接近于標(biāo)定視場區(qū)域，成功拓展了大視場物鏡的可用視場。而本文所提方法通過采集擴(kuò)展視場自適應(yīng)光學(xué)校正前后的數(shù)據(jù)并使用改進(jìn)網(wǎng)絡(luò)框架進(jìn)行訓(xùn)練，無需使用自適應(yīng)光學(xué)相位補(bǔ)償裝置進(jìn)行像差校正便可得到近似無像差的圖像。

該方法具有以下優(yōu)勢：

• 無需復(fù)雜光學(xué)元件：無須使用復(fù)雜的自適應(yīng)光學(xué)元件進(jìn)行像差校正。

• 降低成本與提高便捷性：利用深度學(xué)習(xí)替代硬件自適應(yīng)光學(xué)補(bǔ)償，不僅降低了系統(tǒng)成本，還實(shí)現(xiàn)了無須硬件自適應(yīng)光學(xué)補(bǔ)償?shù)拇笠晥龀上�，提高了系統(tǒng)的便捷性。

實(shí)驗(yàn)過程
在實(shí)驗(yàn)中，研究團(tuán)隊(duì)使用了大視場雙光子顯微系統(tǒng)，包括鈦藍(lán)寶石激光器、擴(kuò)束器、中繼鏡、檢流計(jì)、掃描振鏡、物鏡、二向分光鏡、收集透鏡和光電倍增管等。采用間接波前檢測中的模式法實(shí)現(xiàn)像差測量和校正，將整個視場區(qū)域分為3×3個子區(qū)域進(jìn)行分區(qū)校正，使用Zernike多項(xiàng)式的第5-15項(xiàng)進(jìn)行像差計(jì)算，重復(fù)測量三次后取平均以保證測量準(zhǔn)確度。

為提高神經(jīng)網(wǎng)絡(luò)的可靠性，研究團(tuán)隊(duì)對數(shù)據(jù)準(zhǔn)備進(jìn)行了兩方面改進(jìn)：

• 提高信噪比：對每組校正前后的圖像各采集3張，并通過平均圖像的灰度值來提高圖像的信噪比。

• 匹配三維位置：將自適應(yīng)光學(xué)技術(shù)校正前的圖像作為參照，對校正后的圖像進(jìn)行X和Y方向的配準(zhǔn)，將配準(zhǔn)后的有效數(shù)據(jù)尺寸裁剪為1000pixel×1000pixel。

研究團(tuán)隊(duì)采用的基于U-Net改進(jìn)的nBRAnet網(wǎng)絡(luò)，具有U型對稱結(jié)構(gòu)，保留了多個跳躍連接結(jié)構(gòu)。同時(shí)，引入殘差結(jié)構(gòu)以緩解反向傳播造成的梯度爆炸和梯度消失，提高網(wǎng)絡(luò)的精準(zhǔn)度和精度；引入輕量級的空間注意力機(jī)制以增強(qiáng)網(wǎng)絡(luò)性能；移除了所有卷積塊中的BN層以增強(qiáng)網(wǎng)絡(luò)輸出的圖像質(zhì)量。

在網(wǎng)絡(luò)訓(xùn)練設(shè)置方面，研究團(tuán)隊(duì)在Windows環(huán)境下進(jìn)行，采用 PyTorch（Python3.7）編寫代碼，使用MATLAB代碼處理圖片，在桌面工作站上進(jìn)行。數(shù)據(jù)集由熒光小球和離體生物樣品經(jīng)自適應(yīng)光學(xué)校正前后的顯微圖像構(gòu)成，網(wǎng)絡(luò)模型輸入圖像和輸出圖像的尺寸均為1000pixel×1000pixel，分別取數(shù)據(jù)集的95％和5％用作訓(xùn)練集和測試集，利用網(wǎng)絡(luò)輸出與標(biāo)簽之間的均方誤差作為損失函數(shù)來訓(xùn)練模型，同時(shí)利用反向傳播算法Adam來優(yōu)化網(wǎng)絡(luò)，初始學(xué)習(xí)速率為1×10-4。

實(shí)驗(yàn)結(jié)果
熒光小球?qū)嶒?yàn)：無論是在像差較小的標(biāo)定視場區(qū)域，還是在具有較大離軸像差的擴(kuò)展視場區(qū)域，研究團(tuán)隊(duì)所提網(wǎng)絡(luò)均能較好地校正畸變的圖像，證明了深度學(xué)習(xí)技術(shù)可以替代硬件自適應(yīng)光學(xué)像差校正技術(shù)擴(kuò)展成像視場并實(shí)現(xiàn)畸變圖像的校正。

生物樣品實(shí)驗(yàn)：研究團(tuán)隊(duì)改進(jìn)的網(wǎng)絡(luò)框架可將Thy1-GFP樣品擴(kuò)展視場區(qū)域的分辨率和信噪比恢復(fù)至接近硬件自適應(yīng)光學(xué)校正之后的結(jié)果，可有效擴(kuò)展物鏡的可用視場，使分辨率和熒光強(qiáng)度近似地恢復(fù)到硬件自適應(yīng)光學(xué)校正后無像差時(shí)的水平。

與超深超分辨率模型（VDSR）、傳統(tǒng)的U-Net模型相比，研究團(tuán)隊(duì)的nBRAnet網(wǎng)絡(luò)框架具有明顯優(yōu)勢，VDSR的實(shí)驗(yàn)結(jié)果中含有大量噪聲，U-Net的實(shí)驗(yàn)結(jié)果中丟失了一些細(xì)節(jié)信息，而研究團(tuán)隊(duì)的網(wǎng)絡(luò)框架具有較高的PSNR值。

總結(jié)與展望
研究團(tuán)隊(duì)提供了一種有效擴(kuò)展雙光子顯微鏡成像視場的新思路、新途徑，利用深度學(xué)習(xí)來擴(kuò)展商業(yè)物鏡的可用視場。經(jīng)網(wǎng)絡(luò)恢復(fù)后的擴(kuò)展區(qū)域圖像，無論是分辨率還是熒光強(qiáng)度，均能恢復(fù)到接近硬件自適應(yīng)光學(xué)校正后無像差時(shí)的水平。該方法簡化了操作，降低了系統(tǒng)的復(fù)雜度和成本，提高了成像分辨率及其拓展的通用性，具有較高的實(shí)用價(jià)值。

希望研究成果能為生物醫(yī)學(xué)研究帶來新的突破，為跨區(qū)域腦成像或全腦成像提供一種經(jīng)濟(jì)實(shí)用的方案。未來，我們將繼續(xù)深入研究，不斷完善這一技術(shù)，為推動生物醫(yī)學(xué)研究的發(fā)展貢獻(xiàn)更多力量。

聲明：本文僅用作學(xué)術(shù)目的。文章來源于:李遲件, 姚靖, 高玉峰, 賴溥祥, 何悅之, 齊蘇敏, 鄭煒. 利用深度學(xué)習(xí)擴(kuò)展雙光子成像視場[J]. 中國激光, 2023, 50(9): 0907107. Chijian Li, Jing Yao, Yufeng Gao, Puxiang Lai, Yuezhi He, Sumin Qi, Wei Zheng. Extending Field‑of‑View of Two‑Photon Microscopy Using Deep Learning[J]. Chinese Journal of Lasers, 2023, 50(9): 0907107.