中文核心期刊

中国科技核心期刊

中国科学引文数据库(CSCD)来源期刊

中国高校优秀科技期刊

中国宇航学会深空探测技术专业委员会会刊

高级检索

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

一种空间目标三维激光点云与可见光图像重建点云融合方法

苏宇 张泽旭 袁萌萌 徐田来 邓涵之 王静

苏宇, 张泽旭, 袁萌萌, 徐田来, 邓涵之, 王静. 一种空间目标三维激光点云与可见光图像重建点云融合方法[J]. 深空探测学报(中英文), 2021, 8(5): 534-540. doi: 10.15982/j.issn.2096-9287.2021.20210037
引用本文: 苏宇, 张泽旭, 袁萌萌, 徐田来, 邓涵之, 王静. 一种空间目标三维激光点云与可见光图像重建点云融合方法[J]. 深空探测学报(中英文), 2021, 8(5): 534-540. doi: 10.15982/j.issn.2096-9287.2021.20210037
SU Yu, ZHANG Zexu, YUAN Mengmeng, XU Tianlai, DENG Hanzhi, WANG Jing. A Point Cloud Fusion Method for Space Target 3D Laser Point Cloud and Visible Light Image Reconstruction Method[J]. Journal of Deep Space Exploration, 2021, 8(5): 534-540. doi: 10.15982/j.issn.2096-9287.2021.20210037
Citation: SU Yu, ZHANG Zexu, YUAN Mengmeng, XU Tianlai, DENG Hanzhi, WANG Jing. A Point Cloud Fusion Method for Space Target 3D Laser Point Cloud and Visible Light Image Reconstruction Method[J]. Journal of Deep Space Exploration, 2021, 8(5): 534-540. doi: 10.15982/j.issn.2096-9287.2021.20210037

一种空间目标三维激光点云与可见光图像重建点云融合方法

doi: 10.15982/j.issn.2096-9287.2021.20210037
基金项目: 国家自然科学基金资助项目(12002103)
详细信息
    作者简介:

    苏宇(1993– ),男,博士研究生,主要研究方向:三维重建、视觉导航、深度学习。通讯地址:哈尔滨工业大学科学园2B栋(150001)电话:(0451)86402628E-mail: suyuathit@gmail.com

    张泽旭(1971– ),男,教授,博士生导师,主要研究方向:深空探测器自主导航与控制,图像(视觉)导航、协同导航、网络控制、编队控制。本文通讯作者。通讯地址:哈尔滨工业大学科学园2B栋(150001)电话:(0451)86402628E-mail: zexuzhang@hit.edu.cn

    袁萌萌(1998– ),女,硕士研究生,主要研究方向:三维重建、目标识别。通讯地址:哈尔滨工业大学科学院2B栋(150001)电话:(0451)86402628E-mail: Yuanmengmeng_HIT@163.com

  • ● A novel method for determining the initial value of ICP is proposed. ● A point cloud fusion method that solves the problem of monocular scale is established. ● An effective method of fusion point cloud optimization is proposed.
  • 中图分类号: V447+.1

A Point Cloud Fusion Method for Space Target 3D Laser Point Cloud and Visible Light Image Reconstruction Method

  • 摘要: 提出一种高精度的空间目标激光雷达三维扫描点云与可见光图像三维重建点云融合方法,此融合方法利用可见光图像三维重建过程中计算的相机姿态与三维点云模型形心位置优化初值选取,提升了ICP算法的配准精度与配准效率;同时根据两组点云的特点,利用欧式距离阈值对三维点云边缘进行杂点删除,最后利用优化的ICP算法得到带有尺度信息融合的高精度三维重建点云。对空间目标仿真模型进行模拟实验,实验表明本融合方法可有效提升点云密度,填补重建漏洞,提升空间目标三维重建的点云精度。
    Highlights
    ● A novel method for determining the initial value of ICP is proposed. ● A point cloud fusion method that solves the problem of monocular scale is established. ● An effective method of fusion point cloud optimization is proposed.
  • 图  1  激光点云与可见光图像重建点云ICP融合

    Fig.  1  Laser point cloud and visible light image reconstruction point cloud ICP fusion

    图  2  旋转初值确定方法

    Fig.  2  A method to determine the initial value of rotation

    图  3  仿真序列可见光图像

    Fig.  3  Simulation sequence visible light images

    图  4  可见光图像三维重建点云

    Fig.  4  Visible light image 3D reconstruction point cloud

    图  5  激光扫描三维点云重建结果

    Fig.  5  Laser scanning 3D point cloud reconstruction results

    图  6  融合后三维点云

    Fig.  6  3D point cloud after fusion

    图  7  局部漏洞填补情况

    Fig.  7  Partial loophole filling result

    图  8  仿真图像与激光点云

    Fig.  8  Simulation image and the laser point cloud

    图  9  点云融合结果

    Fig.  9  Point cloud fusion result

    表  1  激光扫描点云参数

    Table  1  Laser scanning point cloud parameters

    扫描距离/ m分辨率测距精度测角精度/(″)
    2064×64≤0.005 6 m, 3σ30
    下载: 导出CSV

    表  2  融合前后各参数对比

    Table  2  Comparison of parameters before and after fusion

    点云来源主体尺寸误差
    率/%
    均方根/
    m
    点云密度点云
    数量/m2
    三维重建0.062 7311 062.368 5
    激光雷达3.440.011 45256.754 5
    融合点云
    (未剔除杂点)
    3.690.012 6411 319.123 0
    融合点云
    (剔除杂点)
    3.560.0114710 131.140 5
    下载: 导出CSV

    表  3  融合前后各参数对比

    Table  3  Comparison of parameters before and after fusion

    点云来源主体尺寸误差
    率/%
    均方根
    /
    m
    点云密度
    点云
    数量/m2
    三维重建0.184 55 235.842
    激光雷达4.570.102 7127.629
    融合点云
    (未剔除杂点)
    4.860.119 25 369.712
    融合点云
    (剔除杂点)
    4.530.105 45 088.297
    下载: 导出CSV

    表  4  优化前后配准对比

    Table  4  Registration comparison before and after optimization

    配准方法迭代次数均方根
    /m
    配准时间/s
    传统方法530.141 717.22
    初值优化后210.119 25.31
    下载: 导出CSV
  • [1] XU Z , TU D , LIN L . Point cloud registration with 2D and 3D fusion information on mobile robot integrated vision system[C]// IEEE International Conference on Robotics & Biomimetics. [S. l. ]: IEEE, 2013.
    [2] ZHANG Z, ZHAO R, LIU E, et al. A fusion method of 1D laser and vision based on depth estimation for pose estimation and reconstruction[J]. Robotics and Autonomous Systems,2019,116:181-191. doi:  10.1016/j.robot.2019.03.010
    [3] KE W, HONG L, GUO B, et al. A 6D-ICP approach for 3D reconstruction and motion estimate of unknown and non-cooperative target[C]//2016 Chinese Control and Decision Conference (CCDC) . Yinchuan, China: IEEE, 2016.
    [4] 邵杰, 张爱武, 王书民, 等. 三维激光点云与CCD影像融合的研究[J]. 中国激光,2013,40(5):228-235.

    SHAO J, ZHANG A W, WANG S M, et al. Research on fusion of 3D laser point clouds and CCD image[J]. Chinese Journal of Lasers,2013,40(5):228-235.
    [5] 武殿梁, 黄海量, 丁玉成, 等. 基于遗传算法和最小二乘法的曲面匹配[J]. 航空学报,2002,23(3):285-288. doi:  10.3321/j.issn:1000-6893.2002.03.025

    WU D L, HUANG H L, DING Y C, et al. Surfaces matching algorithm based on genetic algorithm and least square criterion[J]. Acta Aeronautica et Astronautica Sinica,2002,23(3):285-288. doi:  10.3321/j.issn:1000-6893.2002.03.025
    [6] 武殿梁, 洪军, 丁玉成, 等. 测量点群与标准曲面的匹配算法研究[J]. 西安交通大学学报,2002,36(5):500-503. doi:  10.3321/j.issn:0253-987X.2002.05.014

    WU D L, HONG J, DING Y C, et al. Surfaces matching algorithm based on the least time criterion[J]. Journal of Xi'an Jiaotong University,2002,36(5):500-503. doi:  10.3321/j.issn:0253-987X.2002.05.014
    [7] 薛峰, 丁晓青. 基于形状匹配变形模型的三维人脸重构[J]. 电子学报,2006(10):154-157.

    XUE F, DING X Q. 3D reconstruction of human face based on shape match morphing model[J]. Acta Electronica Sinica,2006(10):154-157.
    [8] SZELISKI R , LAVALLEE S . Matching 3-D anatomical surfaces with non-rigid deformations usingoctree splines[C]//Proceedings of IEEE Workshop on Biomedical Image Analysis. Seattle, WA, USA: IEEE, 1994.
    [9] CANUDAS D W C, LISCHINSKY P. Adaptive Friction Compensation with Partially Known Dynamic Friction Model[J]. International commission on radiation units and measurements,1997,11(1):65-80.
    [10] BESL P J. A method for registration of 3D shapes[J]. IEEE Trans on PAMI,1992,14(2):239-256. doi:  10.1109/34.121791
    [11] MENQ C H, YAU H T, LAI G Y. Automated precision measurement of surface profile in CAD-directed inspection[J]. IEEE Transactions on Robotics & Automation,1992,8(2):268-278.
    [12] RUSINKIEWICZ S, LEVOY M. Efficient variants of the ICP algorithm[C]//In Proceedings Third International Conference on 3-D Digital Imaging and Modeling. [S. l.]: IEEE, 2001: 145-152.
    [13] 张宗华, 彭翔, 胡小唐. 获取ICP匹配深度图像初值的研究[J]. 工程图学学报,2002(1):84-90.

    ZHANG Z H, PENG X, HU X T. The research on acquiring the initial value of registering range images by ICP[J]. Journal of Engineering Graphics,2002(1):84-90.
    [14] SINHA S . A multi-stage linear approach to structure from motion[M]. Berlin: Springer Berlin Heidelberg, 2012.
    [15] SNAVELY N , SEITZ S M , SZELISKI R . Skeletal graphs for efficient structure from motion[C]// IEEE Conference on Computer Vision & Pattern Recognition. [S. l. ]: IEEE, 2008.
    [16] CRANDALL D, OWENS A, SNAVELY N, et al. Discrete-continuous optimization for large-scale structure from motion[J]. IEEE Transactions on Software Engineering,2013,35(12):2841-2853.
    [17] GHERARDI R , FARENZENA M , FUSIELLO A . Improving the efficiency of hierarchical structure-and-motion[C]// The Twenty-Third IEEE Conference on Computer Vision and Pattern Recognition, CVPR 2010. San Francisco, CA, USA: IEEE, 2010.
    [18] WU C , AGARWAL S , CURLESS B , et al. Multicore bundle adjustment[C]// Computer Vision & Pattern Recognition. [S. l. ]: IEEE, 2011.
    [19] AGARWAL S , SNAVELY N , SEITZ S M , et al. Bundle adjustment in the large[C]// European Conference on Computer Vision. Berlin: Springer-Verlag, 2010.
    [20] 钟莹, 张蒙. 基于改进ICP算法的点云自动配准技术[J]. 控制工程,2014,21(1):37-37. doi:  10.3969/j.issn.1671-7848.2014.01.009

    ZHONG Y, ZHANG M. Automatic registration technology of point cloud based on improved ICP algorithm[J]. Control Engineering of China,2014,21(1):37-37. doi:  10.3969/j.issn.1671-7848.2014.01.009
    [21] FURUKAWA Y, PONCE J. Accurate, dense, and robust multiview stereopsis[J]. Pattern Analysis and Machine Intelligence, IEEE Transactions on,2010,32(8):1362-1376. doi:  10.1109/TPAMI.2009.161
    [22] TZSCHICHHOLZ T, BOGE T, SCHILLING K. Relative pose estimation of satellites using PMD-/CCD-sensor data fusion[J]. Acta Astronautica,2015,109:25-33. doi:  10.1016/j.actaastro.2014.12.010
  • [1] 王明远, 王美, 平劲松, 韩松涛.  月球空间环境研究进展 . 深空探测学报(中英文), 2021, 8(5): 486-494. doi: 10.15982/j.issn.2096-9287.2021.20200013
    [2] 黎彪, 张从发, 盛聪, 樊俊峰, 刘冬.  “天问一号”火星次表层雷达展开机构设计 . 深空探测学报(中英文), 2021, 8(2): 1-6. doi: 10.15982/j.issn.2096-9287.2021.20200089
    [3] 魏强, 刘凤财, 苏再为, 林彦龙.  基于点云测量的运载火箭异形管路数字化制造技术 . 深空探测学报(中英文), 2021, 8(1): 34-41. doi: 10.15982/j.issn.2096-9287.2021.20200011
    [4] 严俊, 张海燕.  500米口径球面射电望远镜(FAST)主要应用目标概述 . 深空探测学报(中英文), 2020, 7(2): 128-135. doi: 10.15982/j.issn.2095-7777.2020.20190618003
    [5] 曹知远, 李翔宇, 乔栋.  面向太阳系边际探测的多天体借力目标选择方法 . 深空探测学报(中英文), 2020, 7(6): 536-544. doi: 10.15982/j.issn.2096-9287.2020.20200068
    [6] 周敬, 胡军, 张斌.  限制性三体问题共线平动点轨道近似解析解 . 深空探测学报(中英文), 2020, 7(1): 93-101. doi: 10.15982/j.issn.2095-7777.2020.20190408001
    [7] 胡启阳, 王大轶.  基于双目视觉的非合作目标自主姿态估计方法 . 深空探测学报(中英文), 2019, 6(4): 341-347. doi: 10.15982/j.issn.2095-7777.2019.04.005
    [8] 路伟涛, 谢剑锋, 任天鹏, 韩松涛.  一种基于探测器下行信号融合处理的无线电干涉测量方法 . 深空探测学报(中英文), 2019, 6(3): 225-231. doi: 10.15982/j.issn.2095-7777.2019.03.004
    [9] 黄翔宇, 徐超, 胡荣海, 李茂登, 郭敏文, 胡锦昌.  火星精确定点着陆多信息融合自主导航与控制方法研究 . 深空探测学报(中英文), 2019, 6(4): 348-357. doi: 10.15982/j.issn.2095-7777.2019.04.006
    [10] 金泰峰, 李磊, 张艺腾.  火星空间磁场低频波动 . 深空探测学报(中英文), 2019, 6(2): 134-141. doi: 10.15982/j.issn.2095-7777.2019.02.004
    [11] 王科, 郑适, 解虎, 邓健, 朱培民, 法文哲, 谭小敏.  雷达技术在小天体任务中的应用研究 . 深空探测学报(中英文), 2019, 6(5): 496-502. doi: 10.15982/j.issn.2095-7777.2019.05.011
    [12] 李春来, 刘建军, 严韦, 封剑青, 任鑫, 刘斌.  小行星探测科学目标进展与展望 . 深空探测学报(中英文), 2019, 6(5): 424-436. doi: 10.15982/j.issn.2095-7777.2019.05.003
    [13] 任天鹏, 高云鹏, 谢剑锋, 杜兰.  基于同波束干涉的空间三维相对位置测量研究 . 深空探测学报(中英文), 2019, 6(3): 219-224. doi: 10.15982/j.issn.2095-7777.2019.03.003
    [14] 李春来, 刘建军, 耿言, 曹晋滨, 张铁龙, 方广有, 杨建峰, 舒嵘, 邹永廖, 林杨挺, 欧阳自远.  中国首次火星探测任务科学目标与有效载荷配置 . 深空探测学报(中英文), 2018, 5(5): 406-413. doi: 10.15982/j.issn.2095-7777.2018.05.002
    [15] 彭德云, 邹雪梅, 李亮.  月球背面探测任务多目标协同控制模式设计 . 深空探测学报(中英文), 2018, 5(6): 544-553. doi: 10.15982/j.issn.2095-7777.2018.06.007
    [16] 范明意, 吕鹏.  环绕器次表层探测雷达实时处理技术 . 深空探测学报(中英文), 2018, 5(5): 478-482. doi: 10.15982/j.issn.2095-7777.2018.05.011
    [17] 何芸, 刘祺, 田伟, 段会宗, 叶贤基, 范淑华, 李语强.  地月第二拉格朗日点卫星激光测距技术研究 . 深空探测学报(中英文), 2017, 4(2): 130-137. doi: 10.15982/j.issn.2095-7777.2017.02.005
    [18] 韩建伟, 上官士鹏, 马英起, 朱翔, 陈睿, 李赛.  脉冲激光模拟空间载荷单粒子效应研究进展 . 深空探测学报(中英文), 2017, 4(6): 577-584. doi: 10.15982/j.issn.2095-7777.2017.12.012
    [19] 秦同, 王硕, 高艾, 朱圣英, 崔平远.  一种火星大气密度三维解析模型 . 深空探测学报(中英文), 2014, 1(2): 117-122.
    [20] 蓝朝桢, 耿迅, 徐青, 崔平远.  基于序列影像的小天体三维形状重建方法研究 . 深空探测学报(中英文), 2014, 1(2): 140-145.
  • 加载中
图(9) / 表 (4)
计量
  • 文章访问数:  266
  • HTML全文浏览量:  219
  • PDF下载量:  37
  • 被引次数: 0
出版历程
  • 收稿日期:  2021-05-08
  • 修回日期:  2021-08-16
  • 刊出日期:  2021-10-31

一种空间目标三维激光点云与可见光图像重建点云融合方法

doi: 10.15982/j.issn.2096-9287.2021.20210037
    基金项目:  国家自然科学基金资助项目(12002103)
    作者简介:

    苏宇(1993– ),男,博士研究生,主要研究方向:三维重建、视觉导航、深度学习。通讯地址:哈尔滨工业大学科学园2B栋(150001)电话:(0451)86402628E-mail: suyuathit@gmail.com

    张泽旭(1971– ),男,教授,博士生导师,主要研究方向:深空探测器自主导航与控制,图像(视觉)导航、协同导航、网络控制、编队控制。本文通讯作者。通讯地址:哈尔滨工业大学科学园2B栋(150001)电话:(0451)86402628E-mail: zexuzhang@hit.edu.cn

    袁萌萌(1998– ),女,硕士研究生,主要研究方向:三维重建、目标识别。通讯地址:哈尔滨工业大学科学院2B栋(150001)电话:(0451)86402628E-mail: Yuanmengmeng_HIT@163.com

  • ● A novel method for determining the initial value of ICP is proposed. ● A point cloud fusion method that solves the problem of monocular scale is established. ● An effective method of fusion point cloud optimization is proposed.
  • 中图分类号: V447+.1

摘要: 提出一种高精度的空间目标激光雷达三维扫描点云与可见光图像三维重建点云融合方法,此融合方法利用可见光图像三维重建过程中计算的相机姿态与三维点云模型形心位置优化初值选取,提升了ICP算法的配准精度与配准效率;同时根据两组点云的特点,利用欧式距离阈值对三维点云边缘进行杂点删除,最后利用优化的ICP算法得到带有尺度信息融合的高精度三维重建点云。对空间目标仿真模型进行模拟实验,实验表明本融合方法可有效提升点云密度,填补重建漏洞,提升空间目标三维重建的点云精度。

注释:
1)  ● A novel method for determining the initial value of ICP is proposed. ● A point cloud fusion method that solves the problem of monocular scale is established. ● An effective method of fusion point cloud optimization is proposed.

English Abstract

苏宇, 张泽旭, 袁萌萌, 徐田来, 邓涵之, 王静. 一种空间目标三维激光点云与可见光图像重建点云融合方法[J]. 深空探测学报(中英文), 2021, 8(5): 534-540. doi: 10.15982/j.issn.2096-9287.2021.20210037
引用本文: 苏宇, 张泽旭, 袁萌萌, 徐田来, 邓涵之, 王静. 一种空间目标三维激光点云与可见光图像重建点云融合方法[J]. 深空探测学报(中英文), 2021, 8(5): 534-540. doi: 10.15982/j.issn.2096-9287.2021.20210037
SU Yu, ZHANG Zexu, YUAN Mengmeng, XU Tianlai, DENG Hanzhi, WANG Jing. A Point Cloud Fusion Method for Space Target 3D Laser Point Cloud and Visible Light Image Reconstruction Method[J]. Journal of Deep Space Exploration, 2021, 8(5): 534-540. doi: 10.15982/j.issn.2096-9287.2021.20210037
Citation: SU Yu, ZHANG Zexu, YUAN Mengmeng, XU Tianlai, DENG Hanzhi, WANG Jing. A Point Cloud Fusion Method for Space Target 3D Laser Point Cloud and Visible Light Image Reconstruction Method[J]. Journal of Deep Space Exploration, 2021, 8(5): 534-540. doi: 10.15982/j.issn.2096-9287.2021.20210037
    • 空间在轨服务中获取目标的三维结构与尺寸信息对后续的对接、维护与抓捕等任务具有重要的意义。目标三维结构的获取方法通常有3种途径:一是利用导航相机采集的可见光图像序列进行点云三维重建,点云重建密度和精度较高,但易受到空间环境光照的影响;二是利用激光雷达对目标进行扫描,将不同角度的扫描点云拼接重建,虽然空间光照对重建点云影响较小,但受到激光雷达功率与扫描约束,点云的分辨率较低,同时空间目标的运动会带来很大的误差;三是利用可见光导航相机的重建点云与激光雷达的扫描点云进行深度融合,充分结合两种传感器的优势,这种方法越来越得到学术界关注[1-2]。本文探索一种高精度的三维激光点云与可见光图像重建点云融合方法。

      文献[3]利用可见光图像进行三维重建,通过使用连续帧之间的光流来跟踪Harris图像点,并基于双目立体视觉模型生成三维点云,然后将成功跟踪的三维点云利用ICP算法实现目标模型的三维重建。此方法的准确性非常依赖光照条件与图像拍摄效果。

      文献[4]利用一个激光传感器和一个线阵CCD同步扫描进行三维重建,通过使每一行激光采样点对应一行可见光采样点,直接实现了激光与可见光采样点的行配准,此方法虽然配准精度较高,但需要目标保持静止,且功耗较高,对追踪航天器提出较高要求,难以应用于空间目标探测。

      在点云融合算法方面,大多数研究围绕着对ICP算法进行改进,文献[5-6]提出了一种遗传算法与最小二乘法结合的配准方法。此配准方法收敛性较好,但当点云数据的数据量较大时,其配准精度较差。

      文献[7]采用径向基函数[8]的方法首先对模型进行变形,减弱局部大变形对匹配结果的影响,实现形状最佳匹配,此方法较为依赖于经验选择基函数的参数。

      除ICP配准算法外,文献[9]提出了运用曲面的特性进行几何曲面匹配的算法,该算法通过计算两个感兴趣表面之间的距离寻找它们之间的最小非刚性变换。

      本文首先给出了量纲不同的两组点云的配准融合步骤,给出目标函数表达式,然后提出了一种基于形心的平移矩阵初值确定方法和基于序列图像三维重建反演相机姿态的旋转矩阵初值确定方法,在配准过程中,利用欧式距离判断方法去除边缘杂点,使得融合后的点云更加完整,准确性更高,具体过程如图1所示。

      图  1  激光点云与可见光图像重建点云ICP融合

      Figure 1.  Laser point cloud and visible light image reconstruction point cloud ICP fusion

      在对目标进行绕飞或悬停拍摄过程中,根据不同的周期$ {t}_{1} \text{、}{t}_{2} $分别进行可见光序列图像的获取及激光雷达点云扫描,分别对其进行三维重建,进而获得两组点云,此时两种来源的点云应具有较大范围的重合区域,可进行点云的ICP配准,但由于单目序列图像三维重建无法获得准确尺度信息,所以其具体融合方式如下。

      首先设对应点集$\boldsymbol P$$\boldsymbol Q$,其坐标系之间存在一定的尺度因子$ \lambda $,即$\lambda \boldsymbol P$$\boldsymbol Q$的量纲相同,存在对应点误差为

      $$ \xi {\text{ = }}{\left\| {{\boldsymbol Q_i} - \lambda \left( {\boldsymbol R{\boldsymbol P_i} + \boldsymbol T} \right)} \right\|^2} $$ (1)

      可以取旋转矩阵$\boldsymbol R$和平移矩阵$\boldsymbol T$的相关函数如下

      $$ f\left( {\boldsymbol R,\boldsymbol T} \right) = {\sum\limits_{i = 1}^n {\left\| {{\boldsymbol Q_i} - \lambda \left( {\boldsymbol R{\boldsymbol P_i} + \boldsymbol T} \right)} \right\|} ^2} $$ (2)

      将式(2)作为目标函数,此时只需要先将两组点云放到同一坐标系下(坐标不变),并控制目标函数[10]最小即可。

      具体配准步骤[11-12]如下:

      1) 给定初值矩阵$\lambda \boldsymbol R$$\lambda \boldsymbol T$计算点集$ P $的变换点集$\boldsymbol P'$

      2)利用最小二乘法重复选择对应点对,并计算最优刚体变换将不同坐标系下点云数据合并到同一坐标系中,求得使上述对应点对平均距离最小的刚体变换,得到新的$\lambda {\boldsymbol R_i}$$\lambda {\boldsymbol T_i}$

      3)对$\boldsymbol P'$使用上一步求得的$\lambda {\boldsymbol R_i}$$\lambda {\boldsymbol T_i}$,得到新的变换点集$\boldsymbol P''$

      4)如果新的变换点集与参考点集满足式(3)要求,即两点集的平均距离小于某一给定阈值,则停止迭代计算,否则新的变换点集$\boldsymbol P''$作为新的$\boldsymbol P$点集继续迭代。

      $$ \left\{ {\begin{aligned} & {{d_k} - {d_{k + 1}} < \varepsilon } \\ &{{d_k} = \frac{1}{N}\sum\limits_{i = 1}^N {{{\left\| {{\boldsymbol Q_{ik}} - {\boldsymbol P_{ik}}} \right\|}^2}} } \end{aligned}} \right. $$ (3)

      其中:$ \varepsilon $表示的是大于零的阈值,判断迭代是否收敛,收敛则迭代结束。

    • ICP算法对运算初值的选取要求严格,初值准确可大大减少迭代次数,提升配准精度,若初值选择不合适,就会使迭代不能收敛到全局最优配准结果,造成匹配失败[13]

      对此,本文选择通过对点云特性及其来源分析,确定配准初值。

    • 对于平移矩阵初值的选取,本文选择针对两种重建点云求取形心的方式获得,具体方式如下。

      设任意一组三维点云$\boldsymbol P$,其应包含目标较完整的三维结构信息,但考虑到可见光图像的三维重建点云并非均匀分布,可以求解每一个点${\boldsymbol P_i}$域内的点云数量,确定单一点的权值,权值大小与点云数量成反比,即某一点邻域$U\left( {{\boldsymbol P_i},\delta } \right)$内点云数量为$ n $时,其权值为$ k/n $$ k $为某一常数),邻域内点云数量为0时,此点很可能为错误的匹配点,故其权值定义为0,进而计算全部点的加权平均坐标。

      $$ \overline x = \frac{{\sum\limits_{i = 1}^n {{X_i}{\eta _i}} }}{{\sum\limits_{i = 1}^n {{\eta _i}} }} $$ (4)

      同理可以计算得到$ \overline y ,\overline z $,最终得到点${\boldsymbol O_p}$$ {\left[ {\overline x ,\overline y ,\overline z } \right]^{\text{T}}} $为点云的几何中心坐标,之后计算全部点云到${\boldsymbol O_p}$的加权平均距离

      $$ {\overline s _p} = \sum\limits_{i = 1}^n {{h_i}} \left\| {{\boldsymbol P_i} - {\boldsymbol O_p}_i} \right\| $$ (5)

      同理可以计算得到点集$\boldsymbol Q$内点到${\boldsymbol O_q}$的加权平均距离$ {\overline s _q} $,可通过公式$ \lambda = \dfrac{{{{\overline s }_q}}}{{{{\overline s }_p}}} $计算得到初始的尺度因子$ \lambda $

      利用两组点云的坐标差作为平移矩阵初值应用于点云配准

      $$ \boldsymbol T = \left[ {\begin{array}{*{20}{c}} {{{\overline x }_q}} \\ {{{\overline y }_q}} \\ {{{\overline z }_q}} \end{array}} \right] - \lambda \left[ {\begin{array}{*{20}{c}} {{{\overline x }_p}} \\ {{{\overline y }_p}} \\ {{{\overline z }_p}} \end{array}} \right] $$ (6)

      最终得到的$\lambda \boldsymbol T$为配准初值。

    • 对于坐标系不同的两组点云,本文在确定旋转矩阵初值时,利用序列图像三维重建过程中的基础矩阵的求解进行反演相机相机姿态的计算[14-15],其确定方法如图2所示。

      图  2  旋转初值确定方法

      Figure 2.  A method to determine the initial value of rotation

      设在对空间非合作目标进行序列图像获取时,分别于${t_o},{t_1},{t_2},\cdots,{t_n}$时刻获取$ n $幅图像,三维重建获取的点云与反演相机姿态建立在$ {t_i} $时刻的相机坐标系下,对于第$ k $幅图像对应的相机姿态,利用对极几何中的极线约束关系,其相对于$ {t_i} $标准相机坐标系的姿态可以用一个秩为2的3阶矩阵$\boldsymbol F$来表达

      $$ \boldsymbol m{'^{\text{T}}}\boldsymbol F\boldsymbol m = 0 $$ (7)

      $\boldsymbol m$表示图像的二维信息中像素的坐标值。F称为基础矩阵,具有7个自由度秩为2的齐次矩阵,它描述了两幅图像对应点的空间几何关系。后续即对该矩阵进行求解。即有

      $$ {\boldsymbol P_i}{'^{\text{T}}}\boldsymbol F{\boldsymbol P_i} = 0 $$ (8)

      得到对应点如下

      $$ {\boldsymbol P_i} = {\left( {{u_i},{v_i},1} \right)^{\text{T}}} $$
      $$ {\boldsymbol P_i}' = {\left( {{u_i}',{v_i}',1} \right)^{\text{T}}} $$
      $$ \boldsymbol F = \left[ {\begin{array}{*{20}{c}} {{F_{11}}}&{{F_{12}}}&{{F_{13}}} \\ {{F_{21}}}&{{F_{22}}}&{{F_{23}}} \\ {{F_{31}}}&{{F_{32}}}&{{F_{33}}} \end{array}} \right] $$ (9)

      将上述方程展开可得到

      $$ \begin{array}{l} u_i' {u_i}{F_{11}} + u_i' {v_i}{F_{12}} + u_i' {F_{13}} + v_i' {u_i}{F_{21}} + \\ v_i' {v_i}{F_{22}} + v_i' {F_{23}} + {u_i}{F_{31}} + {v_i}{F_{32}} + {F_{33}} = 0 \end{array} $$ (10)

      假设有$ n $对上述图像点对,那么经过计算可以得到$ n $个方程。

      向量构造:

      $$ \boldsymbol f = {\left[ {{F_{11}},{F_{12}},{F_{13}},{F_{21}},{F_{22}},{F_{23}},{F_{31}},{F_{32}},{F_{33}}} \right]^{\text{T}}} $$ (11)

      矩阵构造:

      $$ \boldsymbol A = \left[ {\begin{array}{*{20}{c}} {{u_1}{u_1}}&{u_1^\prime {v_1}}&{u_1^\prime }&{{v_1}{u_1}}&{v_1^\prime {v_1}}&{v_1^\prime }&{{u_1}}&{{v_1}}&1\\ \vdots & \vdots & \vdots & \vdots & \vdots & \vdots & \vdots & \vdots & \vdots \\ {{u_n}{u_n}}&{{u_n}{v_n}}&{u_n^\prime }&{{v_n}{u_n}}&{{v_n}{v_n}}&{{v_n}}&{{u_n}}&{{v_n}}&1 \end{array}} \right] $$ (12)

      得出$\boldsymbol A\boldsymbol f = 0$,当$ n \geqslant 8 $时,用线性求解的方法来求$\boldsymbol f$,通过代数误差估计来求解$\left\| {\boldsymbol A\boldsymbol f} \right\|$的最小值,在约束条件$\left\| \boldsymbol f \right\| = 1$下,即可求解出$\min \left\| {\boldsymbol A\boldsymbol f} \right\|$,这里用到的是较经典的8点法[16-17]。计算过程如下。

      1)当$ n \geqslant 8 $时,由多组匹配点对构造矩阵$\boldsymbol A$

      2)对矩阵$\boldsymbol A$作奇异值分解$A = \boldsymbol U\boldsymbol D{\boldsymbol V^{\text{T}}}$U为酉矩阵,D为对角矩阵),通过向量${\boldsymbol v_9}$得到基础矩阵$\boldsymbol F$${\boldsymbol v_9}$为矩阵$ V $的第九列,因此

      $$ \boldsymbol F = \left[ {\begin{array}{*{20}{c}} {{v_9}(1)}&{{v_9}\left( 2 \right)}&{{v_9}\left( 3 \right)} \\ {{v_9}\left( 4 \right)}&{{v_9}\left( 5 \right)}&{{v_9}\left( 6 \right)} \\ {{v_9}\left( 7 \right)}&{{v_9}\left( 8 \right)}&{{v_9}\left( 9 \right)} \end{array}} \right] $$ (13)

      3)对上述基础矩阵$\boldsymbol F$进行奇异值分解[18-19],求出估计量

      $$ \mathop {\boldsymbol{F}} \limits^ \wedge = U{\text{diag}}\left( {{s_1},{s_2},0} \right){\boldsymbol V^{\text{T}}} $$ (14)

      由于空间非合作目标序列图像重建中,可见光相机都是事先标定好的,且已知相机内参矩阵为$\boldsymbol K$,可利用

      $$ \boldsymbol E=\boldsymbol K^{\mathrm{T}} \boldsymbol F \boldsymbol K $$ (15)

      求解本质矩阵$\boldsymbol E$并进行奇异值分解,有

      $$ \boldsymbol E = \boldsymbol U\boldsymbol D{\boldsymbol V^{\text{T}}} $$ (16)

      其中:$\boldsymbol D = {\text{diag}}\left( {r,s,t} \right)$,因为图像匹配中存在着一定的误差,一般$ r > s > t $。假设$ \mathop {\boldsymbol{D}} \limits^ \wedge = {\text{diag}}\left( {r,{s^2},t} \right) $,构造出

      $$ \widehat {\boldsymbol{E}} = {\boldsymbol{U}}\widehat {\boldsymbol{D}}{{\boldsymbol{V}}^{\rm{T}}} $$ (17)

      $ \mathop E\limits^ \wedge $进行奇异值分解得到

      $$ \widehat {\boldsymbol{E}} = \widehat {\boldsymbol{U}}\widehat {\boldsymbol{D}}{\widehat {\boldsymbol{V}}^{\rm{T}}} $$ (18)

      然后进行矩阵的重新计算,最终求得$ R $的初始值

      $$ \lambda {\boldsymbol{R}} = \lambda \widehat {\boldsymbol{U}}{\boldsymbol{A}}{\widehat {\boldsymbol{V}}^{\rm{T}}} $$ (19)

      此时,可将激光雷达的点云扫描结果全部转换到$ {t_k} $时刻的激光雷达的扫描坐标系下,由于平台标定关系已知,进而将坐标系转换到$ {t_k} $时刻的相机坐标系下。其相对于$ {t_i} $时刻的旋转矩阵即为点云间的旋转关系。

    • 通过上述点云配准过程,可获得两组点云间的最优转换关系。

      由于可见光图像三维重建点云解算误差及稠密化过程,导致边缘杂点较多,此时可利用激光雷达扫描点云的点云分布均匀且边缘特性较好的优势,删除可见光图像三维重建点云中的杂点与错误点,具体方法如下。

      设配准后的对应点集$\boldsymbol P$$\boldsymbol Q$,对$\boldsymbol P$中的一个点${\boldsymbol P_i}$,搜索$\boldsymbol Q$中与${\boldsymbol P_i}$欧氏距离最近的3个点[18,20],分别为$ {q_1},{q_2},{q_3} $;若${\boldsymbol P_i}$${\boldsymbol Q_j}$的欧式距离超过阈值LL = $ m \times dst $,其中$ m $为选择系数,$ dst $为点云中相邻点的平均距离),则认为无法找到对应点;若欧氏距离小于阈值,则以3个点构建三角形$ S $,求出${\boldsymbol P_i}$到三角形的垂足$ q $,将${\boldsymbol P_i}$$ q $构成两个点集$\boldsymbol P$$\boldsymbol Q$间的对应点。当两组点云对应点欧式距离大于某一值时(根据第1部分中的目标函数进行确定),则将其定义为杂点进行剔除。

    • 为验证多模数据融合的空间非合作目标三维重建方法,本文利用3Dmax仿真模型进行序列图像的渲染,其获取图像如图3所示。

      图  3  仿真序列可见光图像

      Figure 3.  Simulation sequence visible light images

      利用SFM原理进行稀疏点云三维重建[21],并利用CMVS进行点云稠密化[22],获得可见光图像的三维重建点云数据,如图4所示。

      图  4  可见光图像三维重建点云

      Figure 4.  Visible light image 3D reconstruction point cloud

      激光仿真数据选择利用blender进行激光扫描点云仿真,仿真参数如表1所示。

      表 1  激光扫描点云参数

      Table 1.  Laser scanning point cloud parameters

      扫描距离/ m分辨率测距精度测角精度/(″)
      2064×64≤0.005 6 m, 3σ30

      本文选择在5角度(0°,72°,144°,216°,288°)进行扫描,由于仿真时已知5角度激光雷达的相对位姿及坐标系,可直接将5组点云按对应的转换关系转换到同一坐标系下,结果如图5所示。

      图  5  激光扫描三维点云重建结果

      Figure 5.  Laser scanning 3D point cloud reconstruction results

      利用第3部分所述方法进行改进的ICP点云数据融合并剔除边缘杂点,对配准过程中的迭代次数及其对应误差进行记录,获得的最终融合点云如图6图7所示。

      图  6  融合后三维点云

      Figure 6.  3D point cloud after fusion

      下面利用融合前后的目标三维点云分别计算目标的尺寸信息,并与实际模型尺寸比较得到的主体尺寸误差率、点云均方差、点云密度(仿真模型总表面积约为21.4 m2),如表2所示。

      图  7  局部漏洞填补情况

      Figure 7.  Partial loophole filling result

      表 2  融合前后各参数对比

      Table 2.  Comparison of parameters before and after fusion

      点云来源主体尺寸误差
      率/%
      均方根/
      m
      点云密度点云
      数量/m2
      三维重建0.062 7311 062.368 5
      激光雷达3.440.011 45256.754 5
      融合点云
      (未剔除杂点)
      3.690.012 6411 319.123 0
      融合点云
      (剔除杂点)
      3.560.0114710 131.140 5

      除合成的模型外,本文使用了某卫星模型进行了图像与激光点云仿真,仿真结果如图8所示,分别对图像与激光点云进行重建与点云配准实验,最终获得的合成点云如图9所示。

      图  8  仿真图像与激光点云

      Figure 8.  Simulation image and the laser point cloud

      图  9  点云融合结果

      Figure 9.  Point cloud fusion result

      通过表3表4中的数据对比可以发现融合点云具有更好的完整性,且精度在融合前后较为稳定,融合效率较高,可为后续任务提供更加可靠的融合点云。

      表 3  融合前后各参数对比

      Table 3.  Comparison of parameters before and after fusion

      点云来源主体尺寸误差
      率/%
      均方根
      /
      m
      点云密度
      点云
      数量/m2
      三维重建0.184 55 235.842
      激光雷达4.570.102 7127.629
      融合点云
      (未剔除杂点)
      4.860.119 25 369.712
      融合点云
      (剔除杂点)
      4.530.105 45 088.297

      表 4  优化前后配准对比

      Table 4.  Registration comparison before and after optimization

      配准方法迭代次数均方根
      /m
      配准时间/s
      传统方法530.141 717.22
      初值优化后210.119 25.31
    • 基于可见光图像序列的三维重构方法能够得到较为稠密的点云,但是受光照条件影响,点云模型存在较多空洞或缺损,点云重构误差较大,基于激光雷达的重构出的点云较完整,而且点云具有真实尺度信息,但考虑到空间平台的供电因素,载荷激光雷达无法长时间连续工作,点云模型较稀疏。本文的融合方法对上述两种点云进行融合,融合初值较准确,迭代次数少,效率较高;比较发现,融合点云密度有很大的提升,误差小于可见光图像三维重建点云,与激光雷达点云误差相近,且融合后点云的缺损部分也得到了补充,保留了目标的纹理特性,点云完整性得到很大的提升。

参考文献 (22)

目录

    /

    返回文章
    返回