分辨率、超分辨率與空間帶寬積拓展

——從計算光學成像角度的一些思考

01 Q：為什么跨尺度光學成像，即“寬視場、高分辨”成像的意義至關重要？傳統(tǒng)光學成像技術在解決此問題所面臨的瓶頸是什么？

A：光學成像系統(tǒng)獲取的信息量由光學系統(tǒng)的視場和分辨率決定。寬視場能夠覆蓋更廣的觀察范圍，高分辨率能夠獲得物體更多的細節(jié)信息。寬視場高分辨率成像顧名思義就是成像系統(tǒng)既能夠拍攝到很大視場范圍，又能拍攝到場景中重要且又易被忽略的細節(jié)信息，其被廣泛應用于眾多的科研領域與軍事民生領域。

比如在現(xiàn)代軍事行動中，越來越要求光學成像系統(tǒng)能夠及時獲取戰(zhàn)場大范圍內(nèi)的詳細情報，以滿足對軍事目標探測、識別、偵測和戰(zhàn)場態(tài)勢感知的需要。

在現(xiàn)代生物學領域中，隨著研究重點已經(jīng)由生命體的形態(tài)學表型探測逐步邁向了細胞和分子基本機制的定量測量，這種格局的轉(zhuǎn)變直接導致對生物光學成像中信息通量的需求在不斷增加。例如，神經(jīng)元作為大腦和神經(jīng)系統(tǒng)的基礎組成部分，它的大小通常是微米量級的，但它的功能連接范圍遍及了整個大腦，想要研究整個神經(jīng)系統(tǒng)的工作機理就必須同時對整個大腦內(nèi)每一個神經(jīng)元同時進行高分辨率成像。

再如，細胞生物學、臨床快速診斷、藥物篩選和細胞功能分析等研究應用一方面需要對群體活細胞進行快速無損的功能檢測，另一方面又需要針對單細胞進行亞細胞結構和分子水平的動態(tài)功能分析以對細胞基本功能進行解讀。為了研究這種擁有海量信息的生命科學系統(tǒng)，必須借助于同時具備寬視場和高分辨率的成像工具。

對于傳統(tǒng)光學成像技術而言，其本質(zhì)是場景光場強度信號在空間維度上的直接均勻采樣記錄與再現(xiàn)的過程。在此過程中，成像的分辨率與信息量不可避免地受到光學衍射極限、探測離散器采樣、空間帶寬積（Space-bandwidth product，SBP）等若干物理條件制約。

對于傳統(tǒng)成像系統(tǒng)而言，通過鏡頭聚焦并被成像設備采集到的物體的信息量總是有限的，它由成像系統(tǒng)的空間帶寬積所決定。目前現(xiàn)有的成像鏡頭的空間帶寬積都在千萬像素量級（10 Megapixels），且隨著鏡頭焦距或數(shù)值孔徑的提高（成像分辨率提高），空間帶寬積反而有所下降。這難以滿足當今軍事和民用領域?qū)Ω叻直媛?、寬視場成像應用日益增長的需求。如何突破這些物理限制，獲得分辨率更高，視場更寬廣的圖像信息，是光學成像領域的永恒課題。

圖1：傳統(tǒng)光學成像分辨率影響因素。

(a) 光學衍射極限:艾里斑; (b) 探測器離散采樣: 采樣頻率滿足奈奎斯特采樣頻率2fmax可以采集到正確的信號周期變化; (c) 空間帶寬積: 可以從信號的相空間圖直觀看出，一個系統(tǒng)的成像視場和信號帶寬的乘積是一個固定值

02 Q：光學成像的分辨率是如何定義的？想要提升分辨率，有哪些典型的方法？

A：光學成像系統(tǒng)的空間分辨率是對其獲取圖像細節(jié)分辨能力的衡量，是評價成像系統(tǒng)圖像質(zhì)量的關鍵指標，也是成像系統(tǒng)實際應用中應考慮的一個關鍵參數(shù)。對于一個成像系統(tǒng)而言，其分辨率主要受限于光學系統(tǒng)衍射與探測器離散采樣兩方面的限制，前者稱為光學分辨率，受衍射極限影響；后者稱為圖像分辨率，受采樣極限影響；二者共同成為光學成像系統(tǒng)空間分辨率的兩大制約因素。

提到光學分辨率，大部分讀者應該都非常熟悉。“艾里斑”、“瑞利判據(jù)”、“阿貝衍射極限”也早已是大家耳熟能詳?shù)脑~匯，它們本質(zhì)上都是從不同的角度來對成像系統(tǒng)的光學分辨率進行定義與度量，最終所給出的“衍射極限準則”也存在一些出入，這就會給一些初學者帶來一些困擾。因此，我們在文章中不僅按歷史時間順序逐一對這些術語與定義進行了解釋，還對它們之間的區(qū)別與聯(lián)系進行了剖析。不同種“衍射極限準則”之間的差異本質(zhì)上是源于它們對“可被分辨”賦予的不同的定義：

① 空域單點準則——“艾里斑”（1835）；

② 空域兩點準則——“瑞利判據(jù)”（1896）；

③ 頻域線對準則——“阿貝衍射極限”（1873）。

此外還包括由“艾里斑”尺寸衍生的“半高寬”準則以及比“瑞利判據(jù)”更加寬松的空域兩點準則“斯派羅判據(jù)”。最終所導致的結果是，它們在空域的分辨率極限表達形式都非常類似，均包含λ/NA（正比于波長，反比于數(shù)值孔徑），只是前面的系數(shù)有些許差異而已。

圖2：艾里斑(a)與4個常用的分辨率度量準則（即Rayleigh(b)、Sparrow (c)、 Abbe(d) 和FWHM(e)）。

灰色和藍色的曲線代表試樣中不同點的單個強度變化，其中垂直（y-）軸是強度，水平（x-）軸是各點之間的橫向間隔。下圖上方的曲線描述了所述的對強度分布的單獨貢獻，而下方的曲線展示了由各自上方曲線中的每個單獨成分形成的疊加強度曲線 相比較空域的分辨率極限公式中的常數(shù)問題，另一個值得關注的問題是成像系統(tǒng)的“相干性”對分辨率所帶來的影響。

從信息論的觀點看來，光學系統(tǒng)傳遞的是隨空間變化的圖像。而光信息學，即信息光學，或傅里葉光學就是通信理論中傅里葉分析等一系列數(shù)學思想以及系統(tǒng)理論與光學（主要是波動光學）相結合的產(chǎn)物，其研究的是光信號表征、采集、分析、處理以及在自由空間與光學系統(tǒng)中傳輸?shù)囊话阋?guī)律。從空域來看，任何載有物體或者場景信息的復雜光場信號，在空間域都可以看作不同統(tǒng)計特性（關聯(lián)性）的點源（球面波）的組合；從頻域來看，該復雜光場信號又可以被看作各種空間頻率（角度）的正/余弦或復指數(shù)函數(shù)（平面波）的集合（角譜）。

光學系統(tǒng)（當然也包括自由空間）對輸入的物空間的響應程度是通過空域點擴散函數(shù)來度量的，而光學系統(tǒng)對輸入的物空間頻率響應程度是通過頻域的光學傳遞函數(shù)（OTF）來量度的，二者互為傅里葉變換。因此，一個光學成像系統(tǒng)的性能可直觀且定量地通過光學傳遞函數(shù)（或等價點擴散函數(shù)）來體現(xiàn)。這種空間域與頻率域的分析方式為分析成像系統(tǒng)的衍射極限提供了相互聯(lián)系又有所區(qū)別的獨特視角。而相比較空域準則，本人傾向于頻域傳遞函數(shù)的表達形式，這有兩方面的原因。

其一是基于空間頻率域的光學傳遞函數(shù)理論不僅能給出分辨率的極限值，還能夠更直觀地給出目標不同空間頻率信息的對比度與相位的傳遞情況。

另一個更重要的原因，也是大家通常容易忽略的：大部分之前提到的空域衍射極限準則均只適用于非相干成像（如熒光顯微成像、攝影、遙感等）的情形，而對于相干成像，甚至“部分相干成像”（介于相干與非相干之間）的情形，還是需要借助于光學傳遞函數(shù)理論，如Hopkins的交叉?zhèn)鬟f系數(shù)（transmissioncross-coefficient, TCC）理論來準確表征的。

圖3：成像系統(tǒng)“相干性”對分辨率的影響。(a) 表示OTF對強度調(diào)制的影響，即對比度的影響; (b) 不同相干性的傳遞函數(shù); (d-f) 分別是NA截止的理想低通濾波器，2NA截止的非相干傳遞函數(shù)，2NA截止的理想低通濾波器的成像結果; (g) TCC幾何示意圖; (h) 部分相干成像情況（光源孔徑小于物鏡孔徑）的光學傳遞函數(shù); (i) 部分相干成像情況下的離焦相位傳遞函數(shù); (j) 部分相干成像情況下的離焦振幅傳遞函數(shù) 在提升成像系統(tǒng)光學分辨率方面，典型的方法有：

（1）合成孔徑：通過多個小口徑光學系統(tǒng)的圖像數(shù)據(jù)合成等效獲得大口徑光學系統(tǒng)的成像能力，具體來說其中包括合成孔徑雷達技術（SAR）、激光合成孔徑雷達技術（SAL）、傅里葉疊層顯微成像技術（FPM）、非相干合成孔徑技術等等；

（2）結構光照明：其本質(zhì)上也屬于合成孔徑的一種，通過結構化照明在頻域以空間混頻的方式將物體高頻信息載入光學系統(tǒng)的探測通帶內(nèi)實現(xiàn)突破阿貝衍射極限的超分辨光學顯微成像，其最典型的代表就是結構光照明顯微成像技術（SIM）；

（3）點擴散函數(shù)工程：在空域縮小點擴散函數(shù)的尺寸來實現(xiàn)超分辨。具體來說其中包括受激發(fā)射損耗顯微成像技術（STED）、光敏定位顯微成像技術（PALM）、隨機光學重建顯微成像技術（STORM）等。

區(qū)別于光學分辨率，成像系統(tǒng)的圖像分辨率是衡量其所獲得數(shù)字圖像代表光學系統(tǒng)記錄的模擬圖像的精細細節(jié)的程度。區(qū)別于光學分辨率，圖像分辨率是衡量成像系統(tǒng)通過光電傳感器件進行數(shù)字化離散采樣記錄所獲得的數(shù)字圖像所能保留精細細節(jié)的能力。因此，探測器的像元密度與尺寸是決定圖像分辨率的主要因素，其主要受限于奈奎斯特采樣定理，即像元的采樣率必須大于圖像中感興趣最高頻率分量的兩倍。

在提升圖像分辨率方面，典型的方法有：

（1）單幀像素超分辨技術：即從一幅低分辨率圖像中重建對應的高分辨率圖像，其也可以看作是圖像插值的特例，主要方法包括頻域外推、正則化、實例映射以及深度學習等技術；

（2）多幀像素超分辨技術：利用時間帶寬（獲取同一場景的多幀圖像序列）換取空間分辨率，其中又可細分為亞像素位移像素超分辨技術和孔徑編碼像素超分辨技術等。這些技術均在我們的文章中進行了系統(tǒng)地介紹。 03 Q：圖像的空間帶寬積是如何定義的？想要實現(xiàn)提升成像系統(tǒng)的空間帶寬積，又有哪些典型的方法呢？

A：空間帶寬積是一個用來描述光學成像系統(tǒng)信息通量的無量綱物理量，它等于一個光學成像系統(tǒng)在其成像視場內(nèi)光學可分辨有效像素的數(shù)目。空間帶寬積由式N=DΔv定義，其中D代表成像視場，Δv為滿足奈奎斯特采樣定律下圖像信號的帶寬?？臻g帶寬積越高，圖像所包含的信息量就越多。對于一個傳統(tǒng)光學成像系統(tǒng)而言，空間分辨率的提高與視場的擴大往往是一對難以調(diào)和的矛盾，很難單純依靠改進光學設計參數(shù)的方式來提高。

圖4：對于傳統(tǒng)光學系統(tǒng)，視場與分辨率這兩個參數(shù)互相矛盾，無法同時兼顧。

(a) 35 mm單反相機不同焦距下所對應的視場角; (b) 35 mm單反相機不同焦距下所拍攝到的典型圖像; (c) 傳統(tǒng)顯微鏡存在分辨率與視場大小難以同時兼顧的矛盾：低倍鏡下視野大，但分辨率低；切換到高倍鏡后分辨率雖得以提升，視場卻相應的成更高比例的縮減 圖像空間帶寬積取決于兩方面因素——視場與分辨率，因此想要提高空間帶寬積，可以從視場的擴大與分辨率的提高兩個方面來實現(xiàn)。基于視場擴大的空間帶寬積拓展技術又可以細分為單成像系統(tǒng)掃描拼接與多探測器/多孔徑合成兩類技術。

單成像系統(tǒng)掃描拼接是以時間分辨置換空間分辨的傳統(tǒng)帶寬積拓展方式。而多探測器/多孔徑合成是在同一時刻使用多個成像設備對空間場景進行并行拍攝，最終通過圖像拼接獲得寬視場高分辨率圖像。這一大類視場擴大空間帶寬積拓展技術中，最典型的技術有多探測器拼接技術、多相機拼接技術、多尺度成像技術等。

基于分辨率提升的空間帶寬積拓展技術僅利用單個成像系統(tǒng)即可一次性獲得較大的成像視場（通常采用廣角鏡頭、低倍物鏡甚至無透鏡光路），在此基礎上，再結合之前所介紹的計算光學成像技術提升成像分辨率的方法，來實現(xiàn)高空間帶寬積成像。其中最具代表性的技術包括合成孔徑全息術、傅立葉疊層顯微成像技術、無透鏡片上顯微成像技術等，我們在此方向上也開展了一些研究。

04 Q：您剛才提到了“光學合成孔徑”是實現(xiàn)空間帶寬積提升的重要手段，也提到您團隊在此方向上也開展了系列研究工作，能不能再給我們詳細介紹一下？

A：從2014年起，我們的團隊就開始關注并從事有關光學合成孔徑方面的研究工作，其中又可以細分為無標記定量相位顯微成像、結構光照明超分辨熒光顯微成像與合成孔徑遠場超分辨成像探測三個方面，這里我主要談談無標記定量相位顯微成像方面。我們的研究重點主要在傅里葉疊層顯微成像技術（Fourier ptychographic microscopy，F(xiàn)PM），其是由康涅狄格大學鄭國安教授于2013年首次提出的。在此方向上我們做的一些比較有意思的工作包括：推導了非對稱照明下的相位傳遞函數(shù)，首次揭示了傅里葉疊層定量相位成像中所依賴的“匹配照明條件”限制。

基于此提出了基于匹配環(huán)形照明的高速傅里葉疊層定量相位成像方法（annular illumination based FPM，AI-FPM），將疊層重建所需的數(shù)據(jù)量從數(shù)十幅降低到最低4幅，并利用該技術對HeLa細胞的復分裂、長達50小時增殖過程實現(xiàn)了速度為25Hz的無間斷高通量動態(tài)定量相位成像。

后續(xù)我們進一步將方法與波長復用技術相結合，實現(xiàn)了單幀傅立葉疊層顯微成像，在10X物鏡1.33mm2的大視場下，成像的半寬分辨率為388nm（0.8NA），成像速度達到相機的固有幀頻50幀/秒。最近，我們又進一步發(fā)現(xiàn)如果將匹配環(huán)形照明的數(shù)量從4幅提升到6幅，我們在重建得到高通量定量相位的同時，還可以對空間非均勻分布的光學像差進行恢復，從而實現(xiàn)了具有“數(shù)字自適應光學”功能的定量相位成像（adaptive optical quantitative phase imaging，AO-QPI）。

圖5：基于環(huán)形照明傅立葉疊層顯微成像技術對HeLa活細胞實現(xiàn)50小時的長時程高通量定量相位顯微成像和自適應像差校正結果。

圖6：高通量傅里葉疊層三維衍射層析成像系統(tǒng)與實驗結果。(a)系統(tǒng)結構原理圖；(b)顯微系統(tǒng)實物圖；(c)對HeLa細胞的高通量高分辨率三維層析成像結果圖

在成功實現(xiàn)相位成像空間帶寬積提升的基礎之上，我們還進一步將傅里葉疊層成像從“二維”拓展到“三維”，提出了傅里葉疊層衍射層析技術（Fourier ptychographic diffraction tomography, FPDT）。基于0.9NA的高數(shù)值孔徑暗場照明，我們在10x 0.4NA物鏡的大視野下，實現(xiàn)了橫向分辨率390nm，軸向分辨率899nm高通量三維衍射層析。

該技術能夠同時對約4000個HeLa細胞或2萬個血紅細胞進行無標記三維成像，且視場內(nèi)每個細胞的亞細胞三維結構都可以清晰分辨。最近，我們團隊還對結構光照明顯微術（structured illumination microscopy，SIM）進行了深入的研究，并提出了基于主成分分析的結構光照明顯微技術（PCA-SIM）。

該技術可在有外界干擾的復雜、低信噪比實驗環(huán)境下對結構光照明參數(shù)，如k波矢、初相位、調(diào)制度等的快速自適應估計與精確補償，從而使復雜環(huán)境下的實時、高質(zhì)量的合成孔徑與SIM超分辨成像成為可能。該項工作即將發(fā)表于卓越計劃高起點新刊eLight的2023年度3期。

圖7：基于主成分分析的結構光照明顯微成像技術（PCA-SIM）及其超分辨成像結果。（a）PCA-SIM原理；（b）自主搭建的SIM儀器，其中DM表示二向色鏡，Lens表示消色差透鏡，HWP表示半波片，PBS表示偏振分束器，SLM表示空間光調(diào)制器；（c）PCA-SIM與其他參數(shù)估計法獲取的COS-7細胞的超分辨圖像，其中Wide-field表示寬場圖像，POP表示峰值相位法（phase-of-peak，POP），ACR表示非迭代自相關法（non-iterative auto-correlation reconstruction，ACR），IRT表示圖像重組變換法（imagerecombination transform，IRT），COR表示迭代互相關法（iterative cross-correlation method, COR）；（d）利用PCA-SIM獲取的實時的活體COS-7細胞線粒體的超分辨重建結果

05 Q：本期封面圖片是您團隊所研制的一款“無透鏡”全息顯微鏡，它無需任何光學透鏡就能實現(xiàn)大視場高分辨顯微鏡成像，能不能給我們的讀者再詳細介紹一下這項創(chuàng)新技術？

A：封面圖片所展示的是我們于2019年研制出的“CyteLive無透鏡全息顯微鏡”，它是一個不包含任何成像透鏡的極簡顯微成像系統(tǒng)——整個設備只包括LED光源和CMOS傳感器。其成像原理也非常簡單，是基于同軸全息成像與相位恢復技術：多波長LED順次照明樣品，其對應衍射圖樣被利用緊貼待測樣品的成像傳感器所記錄，通過相位恢復與亞像素超分辨成像技術重建得當樣品高分辨率復振幅信息，最終即可通過角譜衍射傳播實現(xiàn)“數(shù)字重聚焦”，得到待測樣品清晰的振幅與相位分布。

這項技術的獨特優(yōu)勢是其既 “簡單”而又“不簡單”：“簡單”是指的是成像系統(tǒng)，它體積小巧、僅有傳統(tǒng)顯微鏡的0.8%，可直接放在細胞培養(yǎng)箱里進行活細胞箱內(nèi)觀察；“不簡單”指的是其成像性能，“無透鏡”的設計繞過了傳統(tǒng)顯微鏡物鏡“空間帶寬積”的限制，可在約30 mm2的寬視場下，實現(xiàn)870 nm的超像素分辨率成像，可同時觀測數(shù)萬個細胞。我們最近已經(jīng)完成了該儀器的更新迭代，在前一代的基礎上進一步拓寬成像視場，采用全封閉式設計減少環(huán)境光影響，并優(yōu)化配套軟件的智能化細胞分析功能。

圖8：新一代CyteLive無透鏡全息顯微鏡及其對培養(yǎng)皿內(nèi)HeLa細胞成像效果

06 Q：您在文章中將超分辨率與空間帶寬積拓展的計算成像技術歸納為一類“空間帶寬積調(diào)控”策略，并形象地將其比喻成“戴著腳鐐跳舞”，這將為該領域未來的發(fā)展提供哪些啟示？

A：我們在文章“分辨率、超分辨率與空間帶寬積拓展——從計算光學成像角度的一些思考”中，以Lukosz的超分辨原則與Papoulis廣義抽樣理論為出發(fā)點，闡述大部分提高成像分辨率的計算成像技術從本質(zhì)上都可以被理解為一種“空間帶寬積調(diào)控”策略，即利用成像系統(tǒng)的可用的自由度，在成像系統(tǒng)有限空間帶寬積的限制下，以最佳方式進行編解碼和傳遞信息的過程。

我們將這些具體個案置入“計算光學成像”這個更高維度的體系框架去分析與探討，在光信息論的意義上揭示了它們大多數(shù)都可以被理解為Lukosz “空間帶寬積調(diào)控”策略的子集或者變體。它們本質(zhì)上都是利用成像系統(tǒng)的可用的自由度，如空間、時間、強度、相位、光譜、偏振、角動量、相干性等，在成像系統(tǒng)有限空間帶寬積的限制下，在“得”與“失”之間所作出的符合規(guī)律的權衡與選擇。

本文的主要結論似乎是顯而易見的，但在當下蓬勃發(fā)展的計算光學成像領域中，這一結論似乎并未得到足夠的重視。我們需認識到，想要在分辨率或空間帶寬積上有所“得”，就必須在另外的自由度，如視場大小、時間分辨率、光譜分辨率等，有所“失”。

例如針對圖像像素超分辨技術，我們必須意識到并明確分辨率提升，即用于空間頻率帶寬提升以及解混疊，所需要的額外信息的來源。當我們利用Papoulis廣義抽樣原理，即采用小空間帶寬積系統(tǒng)多幀采樣來采集并重建大空間帶寬積信號時，我們就必須理智地接受此過程中由于多次采樣所造成的時間分辨率的損失。

反之，如果只是追求最終成像指標上的“優(yōu)美”而不愿意在速度、成像幀頻上做出妥協(xié)，這就必須依賴于單幀圖像超分辨技術。但事實上我們也必須意識到，這些額外“增長”出的圖像信息的源頭往往來自于先驗。這就像建立了一套復雜的查找表機制，輸入與輸出總是由少到多的，而其中的邏輯來源于對目標場景中可能的物體特征深入的見解與精準的預測，這是它們?nèi)〉贸晒ψ钪饕囊蛩亍?br />
當然，這類以少博多，以小博大的方式，不論是壓縮感知抑或是當下非常熱門的深度學習技術，都無法逾越“信息不會無中生有”，“過往不代表現(xiàn)在，更不能代表未來”這些既定的事實，這也預示著它們在某些“非常規(guī)”情形下失敗的必然性。

上述案例正體現(xiàn)了計算光學成像中“Less is more”，即有無相生，天地、陰陽、五行相輔相成，相生相剋的哲學思想，是一種既對立又統(tǒng)一的矛盾體。這或許也能夠留給我們一絲人生啟發(fā)：因為實無所“舍”，亦無所“得”，何不視“失”為“舍”，以“舍”博“得”。





審核編輯：劉清