多源空譜遙感圖像融合是遙感領域提升圖像分辨率的一個重要研究方法，也是多光譜圖像（MSI）和高光譜圖像（HSI）分析領域的一個熱點問題。雖然成像探測技術已經由低空間分辨率向高空間分辨率，由低光譜分辨率到高光譜分辨率發展，但是對於光譜細分成像探測而言，空間分辨率和光譜分辨率往往是矛盾的。以高光譜圖像爲例，高光譜成像遙感能夠在特定的電磁譜段上，連續採集不同波段的影像，從而獲取場景中每個像素的光譜信息。與其他光學成像技術相比，高光譜成像能夠辨識場景中不同地物的物質組成，在地物分類、軍事偵察、環境監測、農作物估產等領域具有廣泛的應用前景和經濟價值。然而，受成像機理和成像設備的限制，空間分辨率、光譜帶寬、幅寬、信噪比等指標不可避免地需要互相折中，難以直接獲取高空間分辨率的高光譜圖像。究其原因，一方面是有限的空間分辨率會導致純像元（稱爲端元，endmember）光譜混合，使得部分像素的光譜曲線混合了多種端元物質，進而影響高光譜圖像的辨識性能；另一方面，對礦物勘探、城市精細製圖、弱小目標檢測等應用而言，需要高空間分辨率的高光譜圖像，而有限的空間分辨率嚴重影響了高光譜成像在遙感技術中的應用。此外，由於載荷平臺顫振，成像光學系統調製傳遞函數引起的模糊降質、系統噪聲、大氣輻射和雲層覆蓋效應等，高光譜圖像輻射信息質量下降、空間分辨率低、混合像元嚴重等現象，成爲高光譜圖像分析、理解和模式識別應用的突出問題。

多源空譜遙感圖像融合問題與遙感圖像質量改善中的若干經典問題緊密相關。作爲數據融合領域中的一個分支，在像素級融合範疇，其主要目的是通過單個或多個圖像或數據，充分利用空譜互補信息和相關性提升分辨率。小編整理了以下幾種常見的光譜圖像質量改善的途徑：

1. 圖像復原

圖像是3D場景在2D成像平面的投影，並以二維強度分佈的形式作用於人的視覺。然而，由於光學系統的缺陷、成像環境不理想、傳輸數據丟失以及存儲介質的瑕疵，實際所獲取的圖像往往是場景理想二維映射圖像的退化形式。圖像復原是從退化或降質圖像版本恢復（估計）清晰圖像的處理技術。一般而言，所有非理想或者欠定條件下的圖像獲取過程都會獲取不完全、含噪聲或模糊的觀測數據，由觀測數據恢復完全清晰的圖像都需要應用圖像復原技術，以去除圖像模糊和噪聲，改善圖像質量。

2. 單幅空譜圖像超分辨

單幅空譜圖像超分辨是僅對觀測的低分辨空譜圖像，而沒有其他輔助源圖像或者信息，其通過估計亞像素的信息，進行空間（幾何）分辨率的增強。在實際中，該問題可能非常複雜和極具挑戰，其退化模型包括空間模糊、下采樣和噪聲污染。不同於簡單的圖像插值與放大，單幅空譜圖像超分辨具有高度病態性，因此包含圖像復原（圖像去模糊和去噪）和圖像插值等處理要素。

與一般的自然圖像超分辨不同，低分辨高光譜圖像中的光譜像元是包含不同材質光譜的混合像元，因此單幅空譜圖像超分辨可以結合光譜解混（spectral unmixing）獲得亞像素級丰度（端元成分的富含度）。結合丰度係數和概率分類器，可以將每個材質的分類概率分配給像素，然後對像素進行亞採樣。在此問題中，試圖在像素內空間上組織不同材質光譜丰度分佈的技術被稱爲亞像素映射（subpixel mapping）或超分辨映射。

3. 多幅空譜圖像超分辨

與單幅圖像超分辨不同，多幅圖像超分辨是針對同一場景拍攝了多幅低分辨率（LR）圖像，這些圖像蘊含不同的空譜互補信息，因此可以進行超分辨率（SR）重建。一個典型的場景是多幅圖像往往存在亞像素位移，可以通過多幅圖像的互補信息推斷出亞像素信息。其基本原理是充分利用多幅LR圖像所包含的互補信息，經過亞像素級的圖像配準或運動估計，通過信息融合技術重建一幅高分辨率（HR）圖像，從而同時實現圖像外推插值和信噪比的提高。

4. 多源空譜遙感圖像融合

多源空譜遙感圖像融合是針對同一場景中，多個傳感器拍攝的不同分辨率和不同空譜性質的圖像。我們聚焦研究了三類常見的融合問題，具體包括：

（1）低分辨率多光譜（Multispectral，MS）圖像與高分辨率全色（Panchromatic，PAN）圖像的融合（簡稱MS+PAN融合）：Pansharpenin問題；

（2）低分辨率高光譜（Hyperspectral，HS）與高分辨率全色圖像的融合（簡稱HS+PAN融合）：Hypersharpening問題；

（3）低分辨率高光譜與高分辨率多光譜圖像的融合（簡稱HS+MS融合）。

在上述問題中，我們可以看到在MS+PAN融合中，MS是主源圖像，PAN作爲輔助圖像源。而司MSI具有較低的空間分辨率，但具有多個光譜波段。PAN主要提供高分辨空間幾何結構信息，以提升MSI的空間分辨率。傳統的MS+PAN融合體系包括基於投影變換的成分替代方法、多分辨率分析（Multiresolution Analysis，MRA）方法及其變種（如小波融合及其變種）。新型融合方法包括變分融合、基於表示學習的方法（含稀疏融合、低秩融合和張量融合）等。基於廣義成分替代格式給出了19種MS+PAN融合算法的綜合性能評測。

在HS+PAN融合中，作爲主源圖像的HSI蘊含豐富的光譜信息，但是空間分辨率低，因此與MS+PAN融合類似，但由於其光譜波段數多，在幾何結構注入時保持光譜特徵更具有挑戰的。HS+MS融合是MS+PAN和HS+PAN等的推廣，涉及多源多通道互補光譜數據融合，成爲高光圖像定量化精細遙感的前瞻性問題，其核心問題是儘可能融合高分辨率MS圖像結構細節，提升HS空間分辨率的同時儘可能減小光譜失真。回顧HS+MS融合的基本方法和綜合評測，但基本沿用推廣Pansharpening體系。

HS+MS融合是一個新的研究方向，主源HSI和輔助源MSI都是多波段圖像，HSI空間分辨率低但波段數高，MSI空間分辨率高但波段較少。MSI的每個波段是較寬帶寬光譜信息成像，一些波段可能覆蓋HSI特定數量的細分波段，一些可能和HSI波段沒有任何重疊。這些問題可能會給空譜融合帶來一些新的挑戰。