×

学术交流 | 张新长:光学遥感影像去云研究进展、挑战与趋势

hqy hqy 发表于2025-07-17 22:01:20 浏览3 评论0百度已收录

抢沙发发表评论

以下文章来源于智绘科服 ,作者测绘学学报

智绘科服.

更具学术格局的自然资源传媒

↑ 点击上方「中国测绘学会」

可快速关注我们

摘要:

光学遥感影像因蕴含丰富地物信息被广泛应用于各类对地观测任务中,但常常受到云层不同程度污染,导致其数据质量和利用率显著下降。目前,学者们已针对光学遥感影像去云问题开展了大量研究,然而仍缺乏系统性总结与技术原理分析。对此,本文首先基于文献计量分析手段,调查了国内外相关文献发表情况,分别对薄云和厚云去除两大类研究开展系统且全面的梳理;然后,深入分析了不同去云方法所面临的核心问题、依赖的先验假设、解决思路及基本原理,并评估了其优缺点;最后,本文进一步总结和探讨了当前光学遥感云去除工作所面临的共性关键挑战和未来发展趋势。本文不仅能为读者全面了解光学遥感影像去云领域近30年来的研究进展提供关键信息,也为深入把握该领域的发展脉络和趋势提供重要参考。

关键词 :光学遥感影像;去云;图像修复;缺失信息重建

基金项目:国家自然科学基金(42371406)(42401518)(42171376)(42471419);湖南省杰出青年基金(2022JJ10072);教育部人文社科青年基金(23YJC630145)

阅读全文:http://xb.chinasmp.com/article/2025/1001-1595/1001-1595-2025-04-0603.shtml

随着卫星和传感器技术的飞速发展,光学遥感影像凭借其幅宽大、重访周期短、信息丰富的优势,已成为对地观测的重要基础数据源[1-2]。然而,大气中的云层遮挡严重影响了光学影像数据的可用性。据国际卫星云气候学项目(internationalsatellitecloudclimatologyproject,ISCCP)统计,全球年均云覆盖率超60%[3],常用的Landsat影像中超半数云覆盖率为30%以上[4]。云雾遮挡不仅造成了遥感数据资源的严重浪费,也显著限制了遥感影像在各类对地观测任务中的有效应用。因此,光学影像去云一直是遥感领域的研究热点和难点[5-6]。

为全面梳理光学影像去云研究进展,本文基于WebofScience核心合集文献数据,从时间、空间和方法3个维度进行了总体分析。时间上,去云研究大致经历了萌芽期(2012年以前)与快速发展期(2012年之后)两个阶段(图1)。在萌芽期内,每年发表的相关论文不足20篇,研究主要集中于辐射传输模型、云雾优化变换、同态滤波和时序克隆等传统去云方法。2012年起,伴随遥感技术的快速发展[2]和对地观测应用需求的激增[7],去云领域进入快速发展期,2024年全球发文量达140篇。空间上,中国学者在遥感影像去云领域的贡献尤为突出。如中国科学院、武汉大学等7所国内机构的发文量占全球总发文量的40%以上。方法上,光学影像去云通常包括云检测和云去除两个阶段:云检测旨在确定云雾厚度与空间分布,通常为云去除提供关键先验信息;云去除阶段则以云检测结果为基础,重建云雾遮挡区域,从而生成完整的无云影像。因云层厚度对影像信息的干扰模式存在本质差异,相关研究逐步形成针对薄云去除和厚云去除两大主要方向。

图1 光学遥感影像去云研究领域文献发表情况

Fig.1Literaturepublishedinthefieldofcloudremovalinopticalremotesensingimage

目前,国内外已有较多云检测综述[8-14],但针对云去除阶段方法的综述仍相对匮乏,或不够全面[5,12,14]。对此,本文全面调研了20多年来国内外相关研究成果,从薄云和厚云去除两方面对已有去云方法进行了广泛调研与系统梳理,旨在为相关领域的研究和应用提供参考。本文的主要贡献包括:①提出一种更全面的光学遥感影像去云研究分类方法(图2),并对该领域进行了广泛的文献综述;②深入剖析了各类方法的原理、特点和前提假设;③总结和讨论了现有去云研究所面临的共性挑战与未来发展趋势。

图2 光学遥感影像去云方法汇总

Fig.2Summaryofcloudremovalinopticalremotesensingimage

光学遥感影像薄云去除方法

在薄云(或雾)遮挡条件下,太阳辐射能穿透云层到达地面,经地物反射后再次穿透云层并被传感器接收。然而,最终成像结果由地物信息与薄云干扰信息耦合而成,如何实现两者的有效分离是薄云去除研究面临的核心问题。根据所依赖的先验知识或数据特征差异,现有光学遥感影像薄云去除方法可分为两类(表1):物理先验驱动和数据特征驱动。

表1 光学遥感影像薄云去除研究概览及代表性工作

Tab.1Overviewofstudiesonthincloudremovalinopticalremotesensingimagesandrepresentativeapproaches

1物理先验驱动的薄云去除方法

物理先验驱动法基于对云层光学、物理特性的理解,通过物理建模、数学推导或观察等方式获取物理先验并用于修正云层对地表辐射的干扰,从而得到干净的无云影像。其代表性方法主要包括:辐射传输模型、暗目标减法和云雾优化变换。

1.1 辐射传输模型

辐射传输模型(radiativetransfermodel,RTM)通过对辐射在大气中的传输过程进行建模,量化并剔除云雾对辐射信号的干扰,从而得到无云影像。6S、LOWTRAN(lowresolutiontransmission)、MORTRAN(moderateresolutiontransmission)等经典RTM模型[15-17]已广泛应用于MODIS、LandsatETM+等多种传感器数据的薄云去除和大气校正。理论上,RTM能准确地模拟并描述受大气影响的完整辐射传输过程,并将传感器接收的辐射信息分解为地表真实辐射和大气(云层)辐射。然而,高精度RTM去云依赖于大量关键参数(如大气压强、水汽含量、气溶胶粒度与空间分布等)[16],但此类参数往往难以全面、精准地获取。为降低参数依赖,后续工作主要从物理或统计视角对RTM进行简化。

(1)物理视角:典型的思路是基于信号传输理论,将云雾对辐射的影响解耦为云层反射、吸收和透射3个过程,并分别建立观测影像像素值、云层双向透射率、云顶反射率和地表反射率之间的物理关系[18]。此类方法通过避免模拟完整的大气辐射传输过程,来降低对输入参数的需求[18-19]。

(2)统计视角:传统RTM中部分物理反演过程可由基于大量数据统计获得的经验性规律来近似替代[20-22]。如通过统计分析方法,建立地表反射率与薄云反射率之间的经验关系,从而避免对大气参数的直接依赖[20]。

尽管简化的RTM方法在一定程度上降低了对大气参数的依赖,但仍面临以下局限:①由于引入额外假设(如描述薄云干扰的线性假设)或经验知识,可能导致实际应用难以取得稳定表现。②部分简化RTM方法依赖特定传感器或特定波段(如1.38μm)的数据[18-19,21],虽然提高了特定情境下的去云精度,但制约了在其他传感器或数据上的应用效果。

1.2 暗目标减法

暗目标减法(darkobjectsubtraction,DOS)利用影像中暗目标的辐射值作为先验信息来估计并消除云雾[30]。该方法的基本假设是:在云雾均匀覆盖且大气性质均一的条件下,像素辐射值可近似为地表反射辐射与大气散射辐射(主要由云雾引起)之和[23]。由于阴影和水体等暗目标自身反射辐射极低,其辐射量主要由大气散射构成,因此可用于估算并去除云雾干扰[23,66]。然而,实际影像中云雾往往表现出显著的空间异质性,因此需要在全图范围内获取足够丰富的暗目标来为影像不同区域的云雾去除提供可靠先验。

早期方法通常基于植被区域富含暗目标的经验,利用植被指数[24]或近红外长波光谱特征[67]引导暗目标提取。但这些方法在沙漠、戈壁或植被稀少地区难以适用,且所提取的暗目标像素通常局限于局部区域。对此,最直接的思路是放宽筛选标准,将亮度接近最小值的像素均视为候选[16],但这往往降低了暗目标选取的准确性。更有效的策略是对影像不同区域分别提取暗目标,如采用自适应滑动窗口[26]或超像素分割[25]等方法。这种分区域提取策略虽可改善所获取暗目标的空间分布均匀性,但在效率与准确性上仍有较大提升空间。

后续研究发现,即使在晴空无云区域,仍存在辐射值趋近于零的暗通道像素,并可用于估算大气散射[29]。基于此,适用性更广的暗通道先验方法被提出,并在先验获取与建模[30]、云雾辐射估计[27-28]及算法效率[27]等方面取得重要进展。该方法原理简单,在薄云或雾均匀覆盖的影像上可实现良好效果,但其局限性在于:①暗通道先验在高亮度区域、厚云遮挡、云层阴影或反射等复杂情况下易失效;②难以适应云雾复杂的空间分布变化;③方法中常量参数依赖人工经验设置,限制了自动化应用。

1.3 云雾优化变换

云雾优化变换(hazeoptimizedtransformation,HOT)利用红、蓝波段在晴空无云区域的线性相关关系来估计和去除云雾引起的辐射偏差[31-32]。相较于传统的暗目标减法,HOT方法在云雾异质性区域通常具备更强的适用性,但实际应用中仍面临以下挑战。

(1)晴空线难以准确定义。部分云雾可能因视觉特征不明显而被误判为无云区,进而干扰晴空线的定义。而传统HOT方法依赖专家手工选取无云区,操作烦琐且难以规模化。对此,后续研究通过引入云敏感波段(如1.38μm)[33]或暗像素密度[34]等先验方法来自动确定无云区域,以提高晴空线定义的可靠性。

(2)高亮度地物干扰:冰雪、水体、岩土及人工构筑物等高亮度地物会引起HOT的虚假响应,导致影像的过度矫正或欠矫正。常见的应对策略是通过掩膜或剔除高亮度地物并辅以动态插值[35],或者融合目标影像与无云参考影像[36]以提升HOT方法的精度与稳健性。

(3)暗像元校正偏差:遥感影像中的阴影、水体、林地等过暗区域和成像噪声会影响基于最小像元值的校正策略,导致去云结果存在色彩失真、斑块、光晕等问题。对此,实际应用中通常利用百分位数替代最小值,并通过插值与滤波等手段加以改善[68]。

总体而言,HOT方法在提高自动化和应对薄云方面已取得重要进展,但与DOS类似,HOT主要考虑云雾的加性辐射效应,因此在复杂地物场景下效果不佳[37]。

1.4 物理先验驱动的薄云去除方法小结

物理先验驱动方法主要从大气、光谱或成像的物理过程出发,建立模型以描述云雾干扰下的观测数据与理想无云影像之间的关系。这些方法具有明确的可解释性和物理意义。然而,云雾干扰下的成像过程复杂且存在诸多难以建模的因素,导致现有此类方法面临以下瓶颈:①在复杂地表场景下,由于地物光谱的复杂性和云雾的多样性,此类方法往往难以准确建模,导致去云效果不佳;②物理模型的部分参数获取困难,且往往依赖特定类型的数据或专家经验,限制了方法的适用性。

2数据特征驱动的薄云去除方法

数据特征驱动的薄云去除方法通常不关注云雾干扰下的遥感成像的具体物理过程,而侧重于分析成像结果中地表真实辐射信息与云雾辐射信息在数据统计特征层面的差异。在此基础上,通过特征提取和变换等操作将两种辐射信息分离,并在削弱云层干扰的同时增强地表信息,最终达到去除薄云影响的目的。根据关于地物与云雾辐射信息差异的基本假设不同,现有数据特征驱动的薄云去除方法可进一步分为空间域特征滤波、频率域特征滤波、成分分析和深度学习4类。

2.1 空间域特征滤波

空间域特征滤波将薄云视为一种具有特定模式的图像噪声,利用滤波技术削弱云雾干扰,增强地物信息。这类方法的核心思想是利用像素及其邻域像素之间的关系,通过局部运算来估计并去除云雾引起的辐射变化。常见的空间域滤波(spatialdomainfeaturefilter,SDFF)包括中值滤波[38]、均值滤波[39]和拉普拉斯滤波[40]等。

(1)中值滤波[38]:假设薄云覆盖区存在足够多未受干扰的像元,通过取邻域像元辐射值的中值来抑制云雾引起的异常值。该方法通常适用于去除椒盐噪声式的稀疏云雾,但在地物纹理复杂或边缘明显区域表现不佳。

(2)均值滤波[39]:假设云雾为低频信号,地物为高频信号,通过邻域平均来削弱高频成分,提取低频云雾分量,再从原影像中去除。该方法依赖于云雾与地物信息的加性耦合假设,且易导致边缘模糊。

(3)拉普拉斯滤波[40]:假设薄云为高斯模糊噪声,通过增强图像高频来突出地物细节以实现去云,但云边界区域表现不佳。

综上,空间域特征滤波方法虽简单快速,但通常只适合处理轻度云雾干扰,且对参数依赖较强,难以单独获得高质量结果,多用于辅助其他去云方法实现影像增强。

2.2 频率域特征滤波

频率域特征滤波(frequencydomainfeaturefiltering,FDFF)将薄云视为遥感影像的低频成分[41-42],通过滤波技术抑制云雾干扰并恢复地物细节。常见的频率域滤波方法主要包括同态滤波(homomorphicfilter,HF)[41-42]和小波变换(waveletanalysis,WA)[43-46]两类。

(1)同态滤波:假设云雾与地表辐射多为乘性耦合,通过对数变换将乘性关系转化为加性关系以进行频率域滤波处理[41]。但经典同态滤波缺乏自适应机制,因而难以适应空间和光谱的异质性。为此,部分研究引入专家先验或统计先验,提出了可调参数的滤波器[42],虽在一定程度上改善了去云效果,但往往依赖于人工经验和数据分布,导致自动化程度和适用性不足[69]。其背后的关键原因在于,云雾干扰往往还包含加性和高阶非线性噪声,即此类方法的“乘性”假设本身具有明显局限性,制约了方法适用性。

(2)小波变换:通过多尺度分解实现云雾与地物的细粒度解耦,而不再依赖云雾与地表辐射的乘性耦合假设。小波变换的性能严重依赖于小波基选择[43]、分解层数[44-45]及小波系数权重[46]的合理设置,这通常需要针对数据特点进行反复试验确定。

总体而言,频率域特征滤波方法相较空间域滤波方法更具优势,但都存在参数敏感性高、适应性不足等问题。无论是空间域还是频率域滤波,本质上都在利用相对固定不变的特征来应对无限多变的遥感影像及云雾遮挡,这种固定性与多变性的矛盾是导致这两类滤波方法适应性和稳健性不足的根本原因。

2.3 成分分析

成分分析(componentanalysis,CA)方法通过挖掘遥感影像的统计特性来实现薄云与地物信息的分离,主要包括独立成分分析(independentcomponentanalysis,ICA)[47-48]和主成分变换(principalcomponenttransform,PCT)[49]。ICA假设云雾和地表辐射信号在统计上独立且呈非高斯分布,并通过线性分解将影像数据转化为独立源信号以分离云地信息。但该方法依赖的前提假设(统计独立性、非高斯分布和线性混合等)在实际应用中难以得到充分满足,限制了ICA的适用性和精度。PCT方法利用数据在最大方差方向上的投影获得相互正交的主成分,从而实现降维并分离云雾与地物信息。此类方法对假设的要求较为宽松,但直接应用于去云时易受噪声干扰,且云雾成分方差较低,不易有效提取。对此,噪声调整主成分变换方法[49]通过最大化信噪比和校正噪声干扰,提高了云层信息分离效果。总体而言,CA方法有效利用了遥感影像的统计特征,减少了对先验知识的依赖,但其固有的线性变换特性使其在应对复杂云雾分布时存在局限性。

2.4 深度学习

深度学习(deeplearning,DL)模型凭借其强大的非线性建模能力和多层次特征抽象能力,在遥感影像去云领域展现出巨大潜力。通过端到端的训练模式,深度神经网络能够自动学习云层遮挡区域与真实地表信息之间的复杂映射,显著提高去云效果及自动化程度。深度学习方法的性能表现主要受训练数据质量、网络架构设计及损失函数定义的综合影响。

(1)训练数据集:受卫星重访周期与成像条件限制,高质量的有云-无云成对遥感影像数据较难获取。早期研究往往模拟云雾并叠加至真实无云遥感影像以得到成对训练样本[50-52],但模拟云雾与真实云雾之间的差异可能制约模型泛化能力。后续研究逐渐构建并公开了更高质量的真实影像数据集[53,70]。如RICE-Ⅰ[53]数据集包含500对500×500像素大小的RGB影像,可为去云算法的客观评估提供重要基准。

(2)模型架构:目前深度学习去云模型主要包括编码器架构和编码-解码器架构两大类。编码器架构通常通过多层卷积网络直接提取影像特征并输出去云结果或相关中间参数(如透射率)[51,54-55]。该类方法结构简单,但深层网络容易造成细节信息丢失,因此引入残差连接、多尺度特征融合等机制进行改进。编码-解码架构则通过编码器实现特征抽象与压缩,利用解码器逐步恢复影像空间细节[56-58]。两部分结构对称,常通过跳跃连接融合不同层级的特征,有效保持地物细节并提升重建效果。

(3)损失函数:现有损失函数包括监督损失和无监督损失两类。监督损失利用成对数据,通过最小化预测结果与真实无云影像的差异来优化模型[51,56],具体包括重建损失(如均方误差)[51,56]和感知损失(在高层特征空间度量差异)[62-63]。重建损失简单直接,但容易忽略地物纹理结构;感知损失则更关注地物语义信息,有助于提升视觉效果。无监督损失基于生成对抗和循环一致性思想,在非配对数据上实现模型训练,减少了对配对数据的依赖,但训练复杂度更高,稳定性较监督方法稍差[57,61,64-65]。

总体而言,深度学习方法避免了传统物理模型假设过于严格的局限性,取得了出色的去云效果。然而,这类方法过于依赖数据的统计分布,缺乏对物理机制的理解,导致在复杂和极端情景下的准确性和可解释性不足。

2.5 数据驱动的薄云去除方法小结

本节综述了空间域特征滤波、频率域特征滤波、成分分析及深度学习等数据驱动的薄云去除方法。各类方法均从数据统计规律出发,力求在削减云雾干扰的同时保留更多地表信息。尽管它们在特定场景具有优势,但在复杂地物环境和云雾-地物强耦合时仍存在不足。近年来,深度学习方法表现出更强的稳健性与适应性,但大规模实际应用中仍面临过拟合与可解释性不足等问题。为此,已有研究尝试将物理先验嵌入深度学习框架,以提升模型泛化性并为其处理过程赋予更明确的物理意义。

光学遥感影像厚云去除方法

厚云遮挡下的影像重建是典型的“不适定问题”(ill-posedinverseproblem),与薄云去除存在本质差异:厚云使地表信息几乎完全丢失,需在无限多可能解中逼近真实地表状态。为降低求解不确定性,通常引入先验知识或外部参考信息进行约束。根据先验知识的来源与建模方式,现有研究主要分为基于空间光谱信息、基于同源时序信息和基于异源互补信息3类(表2)。

表2光学遥感影像厚云去除研究概览及代表方法

Tab.2Overviewofstudiesonthinkcloudremovalinopticalremotesensingimagesandrepresentativeapproaches

1基于空间光谱信息的方法

在无外部参考数据的情况下,厚云去除可视作图像修复问题[132-133],核心是如何运用影像中无云区域的先验信息来重建缺失区域。大多研究基于“缺失区与无云区在空间光谱上相似”的假设,衍生出影像插值、传播扩散、范例法及生成模型等方法。

1.1 影像插值

影像插值通过邻域像素信息预测缺失像素值[71-73],如采用克里金插值或基于最大后验概率的改进算法来刻画空间自相关与细节先验[71-72]。此类方法依赖于局部空间相似性假设,适用于小范围缺失区域重建,但在空间异质性区域易过度平滑,难以捕捉复杂地物结构。

1.2 传播扩散

传播扩散方法将更大范围的空间光谱信息作为先验,通过构建扩散模型逐步传播已知信息至缺失区域。传统方法多采用偏微分方程(partialdifferentialequations,PDEs)构建扩散模型[74-75]。此类方法能利用纹理、几何等更丰富的空间光谱先验,在复杂场景实现较高质量重建。但传统扩散模型迭代过程计算量大,且在大面积缺失情况下易累积误差。近期的深度学习扩散模型[76-79]打破了对局部先验的依赖,能从大规模训练数据中学习更通用的统计特征。通过在影像上添加高斯噪声并进行反向去噪,模型可在复杂场景下取得更高质量的厚云修复效果。然而,其高迭代计算导致运算开销较大,应用于大范围、实时需求时仍需进一步优化。

1.3 范例法

范例法不再依赖局部像素连续性,而是利用影像自相似性原理,通过从无云区域“克隆”内容至缺失区域来完成修复。该方法的核心假设是:影像中存在与被云遮挡区域在局部或整体特征上相似的其他区域(“范例”),可替换缺失内容。根据范例选择与迁移尺度的不同,现有方法通常分为:①像素级范例法,遍历缺失区域的每个像素,并从无云区域检索邻域特征最相似的像素作为范例并进行替换[80]。此策略简单直接,但其匹配与迁移过程计算量随影像规模呈幂级增长,难以满足大范围应用。②补丁级范例法,在已知区域检索与缺失区域相似的图像块并进行整体替换,可显著降低计算成本[81-83]。但这类方法通常采用贪婪式求解策略,仅优化局部目标而忽略全局一致性,导致修复结果受补丁选择顺序影响显著。对此,全连接张量网络分解方法通过联合建模局部和全局相似性来定位最优补丁,从而改善了高光谱影像的厚云去除效果[83]。

对于具有重复性或规律性特征的场景(如纹理一致的区域),范例法通常能生成较好的修复结果。但在复杂多变的遥感场景中,无云区域可能并无足够相似的“范例”可供迁移,导致其修复质量和保真度受限。

1.4 生成模型

近年来,生成模型在图像生成和修复领域已取得显著进展[134-135],并逐渐应用于去云研究。与插值或范例法相比,生成模型不仅能利用当前影像无云区域的先验信息,还能通过学习大规模数据,掌握地物特征与空间分布模式,从而更准确地预测并重建缺失内容。在厚云去除领域,现有研究主要集中于生成模型设计和训练数据构建两个方面。

(1)生成模型设计:目前主流的生成模型可大致分为生成对抗网络(generativeadversarialnetworks,GANs)[84-86]和扩散模型[76-79]两大类。GANs通过生成器和判别器的对抗训练,使生成器逐步学习从厚云遮挡影像生成逼真的无云影像。但GANs普遍面临训练不稳定、优化困难等问题,往往需要引入上下文感知、多尺度融合或渐进式对抗训练[86]等策略来提升其实际表现。相比之下,扩散模型通过将复杂的图像生成过程分解为一系列简单的“去噪”步骤,从根本上提升了图像生成的质量和多样性,并在厚云去除任务中更具潜力。

(2)数据集构建:生成模型性能高度依赖于大规模、高质量数据集。早期数据集(如RICE-Ⅱ[53]、SPARCS[136]等)在规模和多样性方面存在局限,难以覆盖多样化的厚云遮挡场景。为满足深度学习模型对数据的需求,近年出现了一系列更大规模、更多样化的数据集,如STGAN[137]和Sen2_MTC[138]数据集扩大数据的空间覆盖范围,并引入多时相影像以提升数据多样性。SEN12MS-CR[125]及其后续版本SEN12MS-CR-TS[127]则融合光学影像与SAR影像,形成了多模态、多时相的数据样本。近期发布的AllClear数据集[139]进一步扩展了数据规模、覆盖范围和传感器类型,包含数百万张影像,采样遍及全球两万多个区域,并综合了哨兵1号、哨兵2号及Landsat8/9等多源卫星影像。

1.5 基于空间光谱信息的厚云去除方法小结

通过充分挖掘影像的空间和光谱信息,基于空间光谱信息的去云方法已取得显著进展。但实际应用中仍面临两大挑战。①数值准确性不足:生成的无云影像虽在视觉上符合预期,但光谱数值经常存在偏差,易在定量反演或科学分析环节引入误差,影响结果的可靠性。②大面积云遮挡场景中的稳健性不足:当云区范围较大时,模型对缺失部分的重建往往偏离真实地物特征,限制其在专题制图及高精度遥感分析中的应用。

2基于同源时序信息的方法

由于单幅影像在大面积厚云覆盖下通常难以提供足够的先验信息,研究者们转而利用相邻时相的同源影像所包含的时序冗余信息来降低重建的不确定性。这些方法基于“地表在短时期内较为稳定”的假设,认为同源影像间具有较高的语义一致性,可为缺失区域的重建提供可靠信息。本节在现有分类体系[133]的基础上,结合最新研究,将基于同源时序信息的去云方法细分为时序克隆[87-98]、时序张量补全[99-101,140-143]和时序学习法[102-113]3类。

2.1 时序克隆

时序克隆方法利用相邻时相同源影像中的参考信息,通过直接或间接的方式修复当前影像的厚云遮挡区域。根据信息提取与处理方式的不同,可将此类方法分为直接时序克隆、间接时序克隆和时空融合克隆。

(1)直接时序克隆:当参考影像与当前影像时相接近且地物变化可忽略时,可直接复制参考影像中相应区域替换厚云遮挡内容,这种方法也被称为“镶嵌去云法”[87-88]。该方法操作简便,但未考虑太阳照射角、大气条件或传感器差异所导致的视觉不一致性,易产生明显拼接痕迹,通常需额外的图像处理来缓解[88]。

(2)间接时序克隆:这类方法通过辐射校正等手段来提升参考影像与当前影像的光谱一致性,以实现更自然的融合效果[89-92]。但常见的辐射校正方法(如亮度一致性矫正[91]和光谱匹配[144]等)通常只能部分缓解时序影像间的辐射差异。为进一步改善融合边界的视觉连续性,后续研究引入多尺度变换[89]或变分方法[145]来提升融合过程的精细化程度。但这类方法的基本前提仍然是地物在时序影像中保持严格一致,这在实际应用中往往难以满足。

(3)时空融合克隆法:针对时序影像间可能存在的内容差异,这类方法结合空间相邻像素的上下文信息与参考影像中的时序变化模式,实现更可靠的去云效果[93-98]。常见策略包括自适应像素插值[93]和差异化权重处理[95],以兼顾大面积厚云区域的修复质量。

时序克隆方法在大面积厚云去除中具有一定优势,但也面临以下关键挑战。①时序信息完备性和冗余性之间的矛盾:多参考影像在为厚云去除提供更丰富先验信息的同时,不可避免地引入信息冗余和干扰问题,因此有必要设计合理优化融合策略来缓解这一固有矛盾[90]。②对无云参考影像和云掩膜的依赖:参考影像中的大面积云覆盖或云掩膜误差都可能对去云结果产生显著的负面影响,因此时序克隆方法往往高度依赖无云或少云的参考影像和准确的云掩膜。

2.2 时序张量补全

时序张量补全法利用时序数据的低秩性进行影像修复[99-101,140-143]。该方法假设时序影像具有稳定的结构和模式,高维数据可由低秩张量近似表达。如果能在厚云遮挡的条件下找到准确描述遥感数据的低秩张量,便有机会在此基础上重建完整的无云影像。为了提高低秩张量表示的准确性,时序平滑约束与优化策略被引入以提升模型求解精度[99]。此外,利用可学习权重矩阵动态调节多维低秩强度,能够充分挖掘时空谱(时序、空间、光谱)维度的互补信息,从而提升厚云修复效果[100]。近期,基于深度学习模型,尤其是三维卷积神经网络[101]的低秩特征提取研究取得重要进展,在哨兵2号卫星数据试验中展现出对大面积云遮挡的强适应性。

时序张量补全方法通过协同利用时序、空间和光谱等多维度信息,在复杂云覆盖场景中展现出优于传统方法的重建质量[140-143]。但现有局限性在于:①参数敏感性。模型性能对低秩维度、正则化系数、迭代次数等超参数敏感,往往需要大量试验进行参数调优。②计算复杂性。多维度数据处理和迭代优化导致计算成本高昂,在处理大规模影像时尤其耗时且占用大量计算资源,限制了方法的实际应用效率。

2.3 时序学习法

时序学习法基于稀疏表征思想,假设地物及其随时间的变化可通过稳定的稀疏特征进行描述,并且这种稀疏特征可免受云雾干扰[102-113]。通过提取稳定的稀疏特征,便可从残缺数据推断出无云影像。目前,此类方法主要包括基于传统机器学习[102-107]和深度学习[108-113]两类。

(1)基于传统机器学习的方法:通过光谱、纹理与边缘等底层特征构建稀疏特征空间,以实现影像重建。如多时相K奇异值分解和多时相贝叶斯字典学习[104]等方法能够从冗余时序数据中提取云雾无关的稀疏特征。然而,字典学习方法关注全局稀疏性而忽略局部特征,从而导致边缘模糊和细节丢失。对此,分析模型通过最小化重建误差来提取更细致的稀疏特征,从而更有效地恢复地物细节[105]。整体而言,这类方法主要基于低层次视觉特征,应对复杂场景和严重云雾干扰时的稳健性有限。

(2)基于深度学习的方法:凭借强大特征提取和非线性表征能力,深度学习模型在时序厚云去除中展现出显著优势[108-113]。这类方法通过深度卷积生成对抗网络自动学习遥感影像的高层次稀疏特征,以捕捉多时相影像间的变化规律和互补信息,从而显著提高厚云遮挡区域的修复质量[109]。针对厚云覆盖严重的情况,渐进式迭代学习策略能逐步融合多时相数据的丰富信息,改善影像重建质量[110]。此外,自监督学习方法通过非配对数据训练,有效减少了模型对标注数据的依赖[111],进一步提高了此类方法的实际应用价值。总体而言,基于深度学习的时序厚云去除方法在复杂场景下的重建表现优于传统机器学习方法,具有更广泛的应用前景。

2.4 基于同源时序信息的厚云去除方法小结

相邻时相的同源光学影像理论上能为去除厚云提供良好先验信息。然而,许多地区长期面临云雾遮挡,导致无云且时相相近的光学影像难以获取。这促使研究者探索利用受云雾影响较小的异源遥感数据进行厚云去除。

3基于异源互补信息的方法

异源影像指不同传感器获取的影像数据,如光学-光学、光学-合成孔径雷达(syntheticapertureradar,SAR)影像。由于成像机制的差异,这些影像在数据特征、几何结构和辐射信息等方面往往存在显著差异,阻碍了信息融合与互补。为有效利用异源影像的互补信息去云,现有研究主要发展了3类方法:异源影像相关性分析法[114-118]、异源影像深度融合[119-127]和异源影像翻译[128-131]。

3.1 异源影像相关性分析法

异源影像本质上是对同一地表的不同观测结果,可能具有内在的光谱相关性。异源影像相关性分析法旨在利用这种内在联系,从异源影像中提取先验信息来修复厚云遮挡。这类方法主要包括异源光学影像相关性分析法[114-116]和异源光学-SAR影像相关性分析法[117-118]。

(1)异源光学影像相关性分析法:此类方法基于其他传感器获取的无云光学影像,通过分析线性[114]或非线性关系[115]的光谱关系,建立光谱转移模型[116],以实现厚云区域的重建。但由于同为光学影像,此类参考影像本身也容易受云雾干扰,导致先验信息可靠性不足。

(2)异源光学-SAR影像相关性分析法:此类方法首先分析光学与SAR影像间的相关关系,然后以此为桥梁,利用SAR影像指导光学影像的修复过程。具体而言,通过融合光学影像纹理特征和多频SAR影像的回波强度构建公共特征以建立两者的关联[117],或利用词典学习和稀疏编码方法[118]直接从数据中学习光学与SAR影像的相关关系。在此基础上,利用SAR影像引导基于范例法的光学影像去云修复过程。但这些方法只间接利用光学-SAR相关性,尚未充分发挥两者的互补潜力。

3.2 异源影像深度融合

同一区域的异源遥感影像理论上包含了对相同地表的互补观测信息,因此可通过影像融合以利用其互补性生成无云影像。根据融合策略的不同,这类方法可分为基于物理或统计特性的方法[119-122]和基于深度学习模型的方法[123-127]。

(1)基于物理或统计特性的方法:其核心思想是建立描述异源影像之间关系的物理模型或统计模型,进而实现影像之间的关联和融合。文献[119]基于变分框架,从可见光和近红外影像中提取梯度信息进行融合,以增强空间细节。类似地,线性回归和加权线性混合模型被用于Landsat和MODIS影像融合[120]。然而,此类方法建模能力有限,难以充分挖掘异源影像互补性,从而限制了融合质量和适用范围。

(2)基于深度学习模型的方法:旨在利用深度神经网络强大的非线性映射能力,将不同模态的异源影像数据投影到一个公共特征空间,从而在特征空间中实现信息的互补与融合,最终生成无云光学影像。文献[123]利用条件生成对抗网络(conditionalGANs,CGANs)实现了SAR和光学多光谱影像的融合与无云影像生成,但生成结果存在细节模糊、纹理失真等问题。对此,文献[124]在原始生成对抗策略的基础上额外引入结构相似性损失函数来引导模型生成更逼真的无云影像。

3.3 异源影像翻译

此类方法旨在利用深度学习模型直接将SAR影像转换为无云光学影像[128-131]。不同于上述基于异源互补信息的方法,其研究重点在于如何建立SAR到光学影像的跨模态映射关系。目前,文献[128—130]利用GANs实现SAR影像到光学影像的“翻译”。并且,文献[131]针对此类去云方法进行了较为全面的综述,并构建了相应分类体系和评估指标。但目前来看,此类方法在去云质量上仍有较大的提升空间。

3.4 基于异源互补信息的厚云去除方法小结

未来,随着小卫星和多模态组网协同观测的发展,同一区域可获取的相邻时相异源互补影像数量将持续增加,这将为基于异源互补信息的厚云去除提供更丰富的数据基础。因此,此类方法具备相当广阔的实际应用前景。

总结与展望

1遥感影像去云方法的发展历程总结

本文系统地综述了国内外遥感影像去云的研究现状,并对薄云和厚云去除两大类研究开展了系统性介绍与梳理。纵观过去30年,遥感影像去云方法大致经历3个阶段的范式转变。

(1)以物理先验驱动方法为主导的阶段。早期研究依赖专家知识和物理建模,发展了基于物理先验的去云方法,如面向薄云去除的辐射传输模型[16]、暗目标减法[23-24]和云雾优化变换[31-32]等。这些方法基于大气辐射传输和地表光谱特性,可解释性强,但依赖特定假设,稳健性和泛化能力不足。

(2)数据特征驱动方法初步兴起阶段。随着统计方法引入,去云研究放宽了物理假设,并结合数据特征设计新算法。如用线性模型代替辐射传输模型,统计估算云雾干扰[22],或在物理先验约束下构建统计特性驱动的去云模型[102-107]。传统机器学习算法(如支持向量机、自组织映射、字典学习等)则进一步推动了此阶段发展,弱化了去云方法所依赖的物理先验假设。但机器学习算法的非线性拟合能力有限,难以建模有云和无云影像间的复杂映射,限制了大规模应用效果。

(3)以数据驱动特征为主导的阶段。近年来,深度学习方法的兴起使得遥感影像去云技术进入全新阶段。这类方法基于大规模训练数据,通过端到端深度神经网络学习影像中云层与地表信息之间的非线性映射关系,从而大幅提升了薄云与厚云去除的性能[56-57,61,77]。但此类方法往往舍弃传统物理先验,可解释性不足,且过度依赖训练数据分布,对复杂、未见场景的泛化能力仍有待加强。

2遥感影像去云面临的共性挑战与趋势展望

目前,遥感影像去云研究已经取得可观的进展,但仍面临一些共性挑战。①云雾干扰异质性:不同厚度和空间分布的云雾对遥感影像各波段的影响往往呈现显著差异,导致缺乏强大适应能力的算法极易过矫正或欠矫正。②大面积云雾遮挡:遮挡面积增大导致有效信息减少,重建难度和不确定性剧增。基于空间光谱信息的方法难以恢复大面积遮挡区;基于时序或异源信息的方法虽能提供参考,但受光谱差异、配准误差限制,难保证真实度和一致性。③高分辨率影像去云的复杂性:随着遥感技术的发展,高分辨率影像的分辨率已提升至厘米级,其细节信息不仅显著增大了去云难度,还对去云算法效率和硬件资源提出了更高的要求。④单一先验信息的局限性:仅凭不完整观测数据难以重建云下信息,需引入物理、统计或观测先验辅助。物理先验理论性强但适应性差;统计先验依赖训练数据分布,难泛化;观测先验受成像条件和机制差异影响。3类先验各具优劣,其协同互补作用有待挖掘。

立足大数据与大模型的时代机遇,未来遥感影像去云研究有望在以下方面取得重要突破。

(1)随着遥感数据激增与生成式大模型持续突破,未来将涌现性能强大、泛化能力强的去云大模型,以应对不同云雾类型,适应多样化的场景,并兼容不同传感器和分辨率的数据。

(2)基于更强大的分析与建模手段,提高物理、统计、观测等多种先验信息的挖掘能力,并充分发挥其协同互补作用,从根本上克服利用单一先验去云所面临的不适定问题。

综上所述,大模型驱动与多源先验信息的协同融合是遥感影像去云领域未来的重要研究趋势。针对这些方向的深入探索与技术创新,有望根本性地提升去云精度、稳定性与泛化能力,减少云层遮挡造成的数据损失,为遥感数据在对地观测及相关应用领域提供更为高效、可靠的支撑。

END

引用格式:张新长,齐霁,陶超,傅思扬,郭明宁,阮永检.光学遥感影像去云研究进展、挑战与趋势[J].测绘学报,2025,54(4):603-620doi:10.11947/j.AGCS.2025.20230137

作者简介:张新长(1957—),男,博士,教授,研究方向为空间数据整合及自适应更新技术方法、数字城市(智慧城市)理论与方法、深度学习与自然资源要素分类和提取等

原标题:《学术交流 | 张新长:光学遥感影像去云研究进展、挑战与趋势》