單像素成像突破傳統(tǒng)成像依賴陣列探測器的模式，僅依靠單個像素探測器實現(xiàn)物體場景的高質(zhì)量成像，在眾多領(lǐng)域展現(xiàn)出獨特優(yōu)勢。其起源于量子成像，自1995年P(guān)ittman等利用糾纏雙光子實現(xiàn)量子成像后，研究不斷演進。它能夠?qū)⒍S或三維物體場景經(jīng)調(diào)制光場編碼為一維探測信號，再憑借特定算法還原高維信息，這種特殊機制為高光譜成像中獲取豐富光譜數(shù)據(jù)、遙感領(lǐng)域遠距離探測、三維成像構(gòu)建立體模型、高速成像捕捉快速動態(tài)場景以及顯微成像洞察微觀世界提供了有效途徑，解決傳統(tǒng)技術(shù)難題。

從發(fā)展脈絡(luò)看，早期量子糾纏主導量子成像，隨后贗熱光實現(xiàn)經(jīng)典光源鬼成像，推動對其物理本質(zhì)探索。2008年，Shapiro實現(xiàn)計算鬼成像，揭示光場強度二階關(guān)聯(lián)特性關(guān)鍵作用，單像素成像同期提出，二者成像機理相通。此后，差分鬼成像、歸一化鬼成像、對應鬼成像及壓縮感知算法應用，提升成像質(zhì)量與效率。如壓縮感知算法利用信號稀疏性，在采樣點不足時重建圖像，為單像素成像發(fā)展注入活力。近年，深度學習崛起，其強大學習與建模能力為單像素成像帶來革新機遇，開啟新突破征程。

東北大學信息科學與工程學院王琦團隊發(fā)表文章，探討深度學習在單像素成像中的應用，介紹單像素成像的理論，其中包括三種經(jīng)典成像理論與深度學習成像理論與根據(jù)驅(qū)動方式的不同將深度學習單像素成像分為數(shù)據(jù)驅(qū)動式、物理驅(qū)動式及混合驅(qū)動式，又在每個驅(qū)動模式下根據(jù)神經(jīng)網(wǎng)絡(luò)所扮演的不同角色，將其劃分出“圖像到圖像”和“測量值到圖像”兩種成像方法，介紹深度學習神經(jīng)網(wǎng)絡(luò)技術(shù)是如何應用到單像素成像中的；然后給出了不同成像方法的具體原理和典型研究進展，并對它們進行討論對比。

基本理論

一、關(guān)聯(lián)成像算法
成像原理基于激光照射旋轉(zhuǎn)毛玻璃形成調(diào)制光場，經(jīng)分束器分別作用于待測物體與CCD相機，單像素探測器收集物體透射或反射總光強，結(jié)合調(diào)制光場空間信息成像。通過公式計算單像素光強值，經(jīng)多次測量依公式恢復場景信息。但實際恢復含像素場景圖像時，測量次數(shù)致調(diào)制矩陣不可逆，形成不適定問題，壓縮感知成為解決關(guān)鍵，其依據(jù)信號稀疏性，在稀疏基下表示圖像信號，經(jīng)欠采樣與凸優(yōu)化求解稀疏信號進而恢復圖像。

二、壓縮感知成像算法
核心在于信號稀疏性可降低采樣要求，以稀疏變換（傅里葉、小波、離散余弦變換等）為基礎(chǔ)，將圖像信號于稀疏基表示。欠采樣過程后，因從低維信號恢復高維稀疏信號為不適定問題，借助凸優(yōu)化求解，最終代入恢復圖像，大幅提升單像素成像重建質(zhì)量

三、傅里葉成像算法
核心在于信號稀疏性可降低采樣要求，以稀疏變換（傅里葉、小波、離散余弦變換等）為基礎(chǔ)，將圖像信號于稀疏基表示。欠采樣過程后，因從低維信號恢復高維稀疏信號為不適定問題，借助凸優(yōu)化求解，最終代入恢復圖像，大幅提升單像素成像重建質(zhì)量。

四、深度學習成像算法
核心是神經(jīng)網(wǎng)絡(luò)擬合單像素系統(tǒng)輸入輸出映射關(guān)系。通過獲取反映真實分布訓練數(shù)據(jù)、搭建適配網(wǎng)絡(luò)模型及利用優(yōu)化器訓練權(quán)重最小化代價函數(shù)，構(gòu)建映射函數(shù)。完成后，輸入桶信號或傳統(tǒng)算法恢復的噪聲圖像，即可輸出高質(zhì)量圖像，為單像素成像智能化發(fā)展開辟道路。

深度學習單像素成像分類
一、驅(qū)動方式
● 數(shù)據(jù)驅(qū)動式：
聚焦從數(shù)據(jù)挖掘先驗知識求圖像最優(yōu)解。通過神經(jīng)網(wǎng)絡(luò)擬合輸入輸出數(shù)據(jù)對構(gòu)建映射關(guān)系，重建圖像時輸入近似圖像或單像素探測信號，無需迭代運算，快速獲最佳結(jié)果，體現(xiàn)高效數(shù)據(jù)處理優(yōu)勢。

二、神經(jīng)網(wǎng)絡(luò)角色

數(shù)據(jù)驅(qū)動式憑借大量數(shù)據(jù)集預訓練網(wǎng)絡(luò)學習映射關(guān)系，如常見全連接層或卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)應用；物理驅(qū)動式先以傳統(tǒng)算法獲物體粗略近似，搭建含物理約束未訓練網(wǎng)絡(luò)，經(jīng)迭代縮小模擬與真實探測值損失，優(yōu)化權(quán)重逼近真實圖像。

● “測量值到圖像”：
數(shù)據(jù)驅(qū)動式端到端網(wǎng)絡(luò)直接從測量值重建圖像，如2019年開創(chuàng)性工作及后續(xù)拓展，還廣泛用于 “無圖像” 目標識別，依場景定標簽類型，突破傳統(tǒng)成像信息局限；物理驅(qū)動式網(wǎng)絡(luò)依物理模型將一維探測信號映射為二維目標圖像，迭代優(yōu)化成像質(zhì)量。

深度學習單像素成像方法與進展
一、數(shù)據(jù)驅(qū)動式
● “圖像到圖像”：
早期運用全連接層神經(jīng)網(wǎng)絡(luò)，后卷積神經(jīng)網(wǎng)絡(luò)因局部連接、權(quán)值共享優(yōu)勢凸顯。2019年端到端網(wǎng)絡(luò)實現(xiàn)從一維測量信號重建二維圖像重大突破，無需傳統(tǒng)算法與調(diào)制光場信息，后續(xù)改進聚焦提升重建質(zhì)量、適應復雜場景及融合多元技術(shù)，推動數(shù)據(jù)驅(qū)動 “圖像到圖像” 方法在多領(lǐng)域蓬勃發(fā)展。

● “測量值到圖像”：
2019年端到端網(wǎng)絡(luò)革新開啟新篇，此后動態(tài)解碼框架、多任務學習網(wǎng)絡(luò)、卷積遞歸網(wǎng)絡(luò)等多元技術(shù)涌現(xiàn)，提升目標檢測效率與精度，拓展至激光制導、雷達探測等領(lǐng)域，成為數(shù)據(jù)驅(qū)動式成像發(fā)展關(guān)鍵驅(qū)動力。

二、物理驅(qū)動式
● “圖像到圖像”：
2022年物理約束神經(jīng)網(wǎng)絡(luò)超遠場鬼成像方法問世，先傳統(tǒng)算法得近似輸入未訓練網(wǎng)絡(luò)，經(jīng)物理成像過程模擬探測值與真實值損失迭代優(yōu)化，同期類似方法在成像質(zhì)量提升成果豐碩，為物理驅(qū)動 “圖像到圖像” 方法奠定堅實基礎(chǔ)。

● “測量值到圖像”：
2021年未訓練神經(jīng)網(wǎng)絡(luò)計算鬼成像首開先河，實現(xiàn)測量值直接到圖像轉(zhuǎn)化，雖優(yōu)化耗時但具開拓意義。后續(xù)URNet等方法提升抗噪與復雜圖像恢復能力，部件模型自監(jiān)督網(wǎng)絡(luò)改善圖像細節(jié)、融合先驗信息確保低采樣率成像質(zhì)量，物理驅(qū)動 “測量值到圖像” 方法持續(xù)創(chuàng)新優(yōu)化。

三、混合驅(qū)動式
2021年物理增強深度學習單像素成像誕生，整合數(shù)據(jù)先驗與物理模型驅(qū)動優(yōu)勢。先依數(shù)據(jù)先驗優(yōu)化卷積編碼與深度神經(jīng)網(wǎng)絡(luò)增強模塊，再借物理模型微調(diào)網(wǎng)絡(luò)參數(shù)，突破傳統(tǒng)驅(qū)動局限，提升成像適應性與質(zhì)量，在太赫茲成像等領(lǐng)域成功實踐，為深度學習單像素成像發(fā)展注入新活力。

成像性能影響因素
一、驅(qū)動方式與輸入
混合驅(qū)動融合數(shù)據(jù)與物理驅(qū)動優(yōu)勢，采樣策略優(yōu)化意義深遠。傳統(tǒng)收集單像素成像數(shù)據(jù)需長時間多模式調(diào)制光場采樣，負擔沉重。自編碼器優(yōu)化策略將采樣策略融入網(wǎng)絡(luò)，僅需真實圖像訓練，免除復雜數(shù)據(jù)制作，提升數(shù)據(jù)利用效率，優(yōu)化成像流程。

二、網(wǎng)絡(luò)結(jié)構(gòu)
網(wǎng)絡(luò)結(jié)構(gòu)抉擇影響深遠，卷積網(wǎng)絡(luò)局部感知與參數(shù)共享特性優(yōu)于全連接網(wǎng)絡(luò)，深層網(wǎng)絡(luò)抽象表達能力強于淺層網(wǎng)絡(luò)，跳躍連接促進信息跨層流動優(yōu)于直接連接。但神經(jīng)網(wǎng)絡(luò)學習存在不可解釋性，選擇結(jié)構(gòu)應權(quán)衡性能與信號特征保留，確保成像質(zhì)量與特征完整性。

三、損失函數(shù)
損失函數(shù)是網(wǎng)絡(luò)性能關(guān)鍵調(diào)節(jié)杠桿，適當引入物理先驗與全變分正則化意義重大。物理先驗依據(jù)成像物理原理約束網(wǎng)絡(luò)學習方向，全變分正則化抑制圖像噪聲與細節(jié)丟失，協(xié)同提升圖像質(zhì)量、增強網(wǎng)絡(luò)泛化能力、緩解過擬合現(xiàn)象，保障成像效果穩(wěn)定性與可靠性。

總結(jié)與展望
硬件維度，二維陣列探測器缺失或昂貴場景下單像素成像成本效益顯著，且能捕獲傳統(tǒng)技術(shù)遺漏的光場偏振、相位等多維信息，在高速成像與瞬態(tài)觀測場景，其高帶寬、高分辨率特性無可替代。軟件視角，成像效率受采樣與重構(gòu)效率制約，依賴適配重構(gòu)算法還原場景信息，不同應用需求催生算法優(yōu)化核心課題，深度學習算法雖有進展，但網(wǎng)絡(luò)自適應調(diào)整能力仍是發(fā)展關(guān)鍵。

從目前來看，深度學習單像素成像方法一直緊隨機器學習神經(jīng)網(wǎng)絡(luò)的發(fā)展，從全連接網(wǎng)絡(luò)到復雜結(jié)構(gòu)網(wǎng)絡(luò)、從淺層網(wǎng)絡(luò)到深度神經(jīng)網(wǎng)絡(luò)、從人工神經(jīng)元到大模型、從數(shù)據(jù)驅(qū)動到物理微調(diào)，都表現(xiàn)出了巨大優(yōu)勢。具體表現(xiàn)為更高質(zhì)量的重構(gòu)、更高速實時的成像效率和散射介質(zhì)、空間遙感和顯微觀測等更多復雜場景的適用性。但在目前眾多深度學習單像素成像系統(tǒng)中，當采樣次數(shù)、調(diào)制光場和成像大小等改變時，網(wǎng)絡(luò)結(jié)構(gòu)需要重新調(diào)整與訓練。因此一個靈活的自適應的深度學習單像素成像方法尤為重要。

隨著深度學習技術(shù)的不斷改進，可以預期深度學習單像素成像將與更多的計算機最新領(lǐng)域模型相結(jié)合，持續(xù)挖掘深度學習潛力，拓寬廣度增大神經(jīng)網(wǎng)絡(luò)形成大模型，實現(xiàn)規(guī)模量變到性能質(zhì)變，完成深度學習單像素成像算法的突破，為應對不斷復雜化的圖像場景和更多干擾因素提供更有力的解決方案，使小視場生物醫(yī)學成像、大視野空間遙感和高速自動駕駛目標檢測等領(lǐng)域走向?qū)嶋H應用，開啟一系列潛在的機遇和挑戰(zhàn)。

聲明：本文僅用作學術(shù)目的。文章來源于：王琦, 米佳帥. 基于深度學習的單像素成像研究進展[J]. 激光與光電子學進展, 2024, 61(10): 1000005.