本发明提供一种基于神经辐射场的遥感影像仿真方法,属于遥感图像处理领域。其包括,采集多视角遥感影像,获取需要进行多视角影像仿真的场景及目标的影像数据,构建三维重建网络,利用卷积神经网络对数据采集后得到的遥感影像进行特征提取,利用多层感知机搭建三维重建网络,构建体渲染模型,建立可见光传输方程和红外传输方程,渲染可见光影像和红外影像,对影像仿真模型进行训练,更新影像仿真模型参数,将需要仿真的影像成像位置和成像视角输入到训练好的影像仿真模型中,生成仿真影像。本发明可以在少视角条件下实现遥感场景三维重建功能,且能够同时得到可见光仿真影像和红外仿真影像。
步骤4,影像仿真模型训练,将采集的多视角遥感影像、三维位置、二维方位视角输入到三维重建网络模型,将三维重建网络模型的输出作为体渲染模型的输入,对体渲染模型输出的影像与采集的真实影像进行损失函数计算,利用最优化算法最小化损失函数,对三维重建网络中的参数进行训练更新,训练收敛后得到影像仿线,多视角影像仿真,将需要仿真的影像成像位置和成像视角输入到训练好的影像仿真模型中,生成仿真影像,设置需要仿真的成像位置和成像视角从而生成多视角仿线所述的一种基于神经辐射场的遥感影像仿真方法,其特征在于,步骤1中的光学遥感卫星用于拍摄地面分辨率为0.3米的可见光遥感影像和红外遥感影像,旋翼无人机平台用于拍摄地面分辨率为0.1米的光学遥感影像和红外遥感影像,对场景及目标的数据采集包括10个不同的俯仰角度和10个不同的方位角度。
3.根据权利要求1所述的一种基于神经辐射场的遥感影像仿真方法,其特征在于,步骤2中所述的卷积神经网络为ResNet18,所述三维重建网络包括三个多层感知机,每个多层感知机包括5层隐藏层,第一个多层感知机对影像采集的三维位置和图像特征进行编码,得到表观温度,第二个多层感知机对影像采集的三维位置和图像特征进行编码,得到体素密度和一个隐变量,第三个多层感知机对隐变量、图像采集的二维方位视角、图像特征进行编码,得到颜色。
5.根据权利要求1所述的一种基于神经辐射场的遥感影像仿真方法,其特征在于,步骤4中所述的影像仿真模型的输入数据是不同三维位置、不同二维方位视角拍摄的同一场景的影像,以及三维位置和二维方位视角,其中,三维位置和二维方位视角不区分卫星平台和无人机平台,三维位置只包括3个距离参数,二维方位视角只包括2个角度参数。
[0002]传统的图像仿真方法包括三维重建和图像渲染两个环节,三维重建通常需要通过专用的三维建模计算机辅助设计软件对目标、场景、地图进行矢量模型建模或者体元模型建模,同时需要建立完备的材质库,用于表示三维模型的纹理、颜色、透明度。然而,三维建模和材质库的建立需要投入大量的人力和时间,无法适应于灾害评估、毁伤评估等时效性要求很强的应用场景。图像渲染需要借助专用的图像渲染器并设置传感器参数依靠光线追迹对每个图像的像素点进行渲染,渲染图像会出现像素空洞、分辨率下降、细节丢失等现象。
步骤4,影像仿真模型训练,将采集的多视角遥感影像、三维位置、二维方位视角输入到三维重建网络模型,将三维重建网络模型的输出作为体渲染模型的输入,对体渲染模型输出的影像与采集的真实影像进行损失函数计算,利用最优化算法最小化损失函数,对三维重建网络中的参数进行训练更新,训练收敛后得到影像仿线,多视角影像仿真,将需要仿真的影像成像位置和成像视角输入到训练好的影像仿真模型中,生成仿真影像,设置需要仿真的成像位置和成像视角从而生成多视角仿线中的光学遥感卫星用于拍摄地面分辨率为0.3米的可见光遥感影
[0006] 进一步地,步骤2中所述的卷积神经网络为ResNet18,所述三维重建网络包括三个多层感知机,每个多层感知机包括5层隐藏层,第一个多层感知机对影像采集的三维位置和图像特征进行编码,得到表观温度,第二个多层感知机对影像采集的三维位置和图像特征进行编码,得到体素密度和一个隐变量,第三个多层感知机对隐变量、图像采集的二维方位视角、图像特征进行编码,得到颜色。
步骤2,三维重建网络构建,如图2所示,利用卷积神经网络对数据采集后得到的遥感影像进行特征提取,利用多层感知机搭建三维重建网络,将卷积神经网络提取后的特征、影像采集的三维位置、影像采集的二维方位视角作为三维重建网络的输入,三维重建网络的输出为颜色、体素密度和表观温度,其中所述卷积神经网络为ResNet18,所述三维重建网络包括三个多层感知机,每个多层感知机包括5层隐藏层,第一个多层感知机对影像采集的三维位置和图像特征进行编码,得到表观温度,第二个多层感知机对影像采集的三维位置和图像特征进行编码,得到体素密度和一个隐变量,第三个多层感知机对隐变量、图像采集的二维方位视角、图像特征进行编码,得到颜色,
步骤3,体渲染模型构建,建立可见光传输方程和红外传输方程,将颜色、体素密度作为可见光传输方程的输入,输出可见光渲染影像,将体素密度、表观温度作为红外传输方程的输入,输出红外渲染影像,其中所述的可见光传输方程针对380nm~760nm的可见光波段,所述的红外传输方程针对3~5μm的中红外波段,可见光传输方程和红外传输方程均基于几何光学的线性传输理论,不考虑光波的干涉和衍射,
步骤4,影像仿真模型训练,将采集的多视角遥感影像、三维位置、二维方位视角输入到三维重建网络模型,将三维重建网络模型的输出作为体渲染模型的输入,对体渲染模型输出的影像与采集的真实影像进行损失函数计算,利用最优化算法最小化损失函数,对三维重建网络中的参数进行训练更新,训练收敛后得到影像仿真模型,其中所述的影像仿真模型的输入数据是不同三维位置、不同二维方位视角拍摄的同一场景的影像,以及三维位置和二维方位视角,其中三维位置和二维方位视角不区分卫星平台和无人机平台,三维位置只包括3个距离参数,二维方位视角只包括2个角度参数,所述的损失函数采用图像结构相似度函数,图像结构相似度函数是两幅影像之间亮度相似度、对比度相似度、灰度相似度、纹理相似度、纹理相似度的加权和,所述的优化算法为Adam算法,
介绍了山洪灾害危害、成因、风险隐患评估范围、风险评估方法、危险区范围及其危险等级、山洪灾害监测预警与防御等及其相关文档，可供相关工作人员参考。
在线客服
电话咨询
官方微信
返回顶部
