郴州天气预报,三维形状数据的深度特征表明,小茴香

摘要

三维形状特征标明是三维方针辨认、三维人脸辨认以及三维模型检索等研讨的根底,在机器人董存瑞、AR/VR、人机交互、遥感测绘等范畴有着广泛的使用远景。近三年来,针对三维形状数据深度特征标明的研讨得到了越来越多的重视。本文对该方向所面对的应战进行了剖析,并对现有算法进行了扼要总述。

导言

跟着三维成像技能的快速开展,低成本小型化三维传感器近年来许多出现并逐渐装备到移动设备中,典型代表如Kinect,Realsense和Google Tango。三维传感器能很好地捕获场景三维信息,使智能设备更好地感知和了解周围环境,在机器人、AR/VR、人机交互、遥感测绘等多个范畴具有宽广的使用远景。

图1 三维传感器的使用场景

三维传感器取得的数据是物体三维形状的直观反映,其可逆战猎魔圣匙以标明为深度图、点云或许网格等多种形式。其间,深度图只能标明物体在单个角度下的间隔信息,因而常称为2.5维数据,而点云和网格能标明物体在多个角度下的信息,因而常称为三维形状数据。有用的三维形状特征标明是完成点云配准、三维模型重建、三维形状检索、三维方针辨认、三维生物特征辨认、场景语义切割、以及定位制图等视觉使命的根底。

一个好的特征应该具有杰出的鉴别力、稳健性、不变性以及核算功率。自上世纪90年代开端,三维形状特征提取算法阅历了20余年的开展,逐渐从手艺特征过渡到根据深度学习的特征。手艺特征一般经过提取三维形状几许特色的空间散布或直方戴瑛瑛图核算等办法得到,典型代表如Spin Image、FPFH、Heat Kernel Signature (HKS)、MeshHOG、RoPS等[1]。但这类办法依靠于研讨者的范畴常识,无法取得适用于某一特定使命的最优三维形状特征标明。近年来,跟着三维形男尸吧状数据集的不断完善,深度学习模型开端使用于三维形状特征标明,并产生了许多的研讨成果。本文旨在扼要总述该范畴面对的首要应战,研讨发展以及潜在研讨方向。

一、面对的应战

相关于二维图画范畴,深度学习石榴石模型在三维形状上的研讨起步较晚,仅在近三年取得了较大的发展。该范畴面对的首要问题如下。

1.1 三维形状的结构化标明

图画是结构化的,能够标明为二维平面上的一个矩阵,但三维点云和网格都对错结构化的,不能直接输入到深度神经网络中。因而,选用深度学习模型首要要处理三维形状的结构化标明问题。首要思路包括:1)在三维形状上手艺提取初级特征,再选用深度学习模型提取高档特征;2)将三维点云或网格转化为系列二维图画,再选用深度学习模型提取特征;3)将三维形状体素化得到结构化标明,再构建三维深度学习模型提取特征;4)规划能习惯原始三维数据特色的深度学习模型。

1.2 公共数期望宅邸据集较小

比较于ImageNet等千万量级的二维图画数据集,郴州气候预报,三维形状数据的深度特征标明,小茴香传统的三维形状数据集很小。近年来发布的较大的数据集包括用于形状分类与检索的ModelNet和ShapeNet。ModelNet包括了来自662类的127915个三维形状,其子集Model10包括了来自10类的4899个三维形状,ModelNet40包括了来自40类的12311个三维形状。Shape连州气候Net包括了约300望族娇万个形状,其子集ShapeNetCor心爱宝物看医生e包括了来自55类的51300个形状。较小的数据集对深度学习模型的规划与练习提出了更郴州气候预报,三维形状数据的深度特征标明,小茴香高要求。

1.3 神经网络运算量大

因为三维形状比二维图画在空间中多了一维信息,因而在坚持相同空间分辨率的前提下,神经网络的运算量比图画大许多。比方,即便将三维形状采样为303030的体素,其运算量已相当于165165的图画,而实际上分辨率为303030的体素对形状的标明对错常粗糙的。因而,怎么既能取得精密的三维形状标明,又能将运算量控制在可接受的范围内,是一个赋有应战的问题。

1.4 物体姿势改变

因为三维物体的姿势是恣意的,因而怎么使得学习到的特征具有对姿势的不变性也是规划深度学习模型时需求考虑的问题。典型思路包括在预处理中对输入数据进行姿势归一化,或许在神经网络中参加Max-Pooling等操作以消除姿势的影响。

二、现有办法分类

根据不同的数据标明办法,现有的三维形状深度特征标明办法能够分为:根据手艺特征的办法、根据投影图画的办法、根据三维体素的办法以及根据原始数据的办法。

2.1 根据手艺特征的办法

这类办法首要在三维形状上提取手艺特征,然后将这些特征作为深度神经网络的输入,用以学习高层特征标明。其优势在于能够充分使用现有的低层特征描述子及深度学习模型。

比方,Bu等人[2]首要将热核特征和均匀测地间隔等构成的低层特征经过Bag-of-Feature模型转化为中层特征,接着选用深度相信网络(DBN)从中层特征中学习高层特征标明,并成功使用于三维形状检索与辨认。Xie等人[3]首要提取三维形状Heat Kernel Signature特征的多标准直方图散布作为自编码机的输入,然后在每个标准上练习一个自编码机并将多个标准隐含层的输出衔接得到特征描述子,并在多个数据集上测试了该办法用于形状检索的有用性。

这类办法的缺点在于,其仍然依靠手艺特征的挑选与参数优化,因而在某种程度上丢失了深度学习的优势,无法从根本上战胜手艺特征存在的问题。

2.2 根据投影图画的办法

这类办法首要将三维形状投影到二维图画空间,然后在二维图画上选用深度学习模型进行特征学习,其优势在于:1)能够充分使用二维图画范畴功能优越的网络架构;2)存在海量图画数据供深度学习模型进行预练习。

比方,S郴州气候预报,三维形状数据的深度特征标明,小茴香u等人[4]首要取得三tga维形状在12个不同角度下的投影图,然后选用VGG-M卷积神经网络学习各个角度下投影图的特征,终究将多角度下的特征进行池化并送入下一个CNN网络中得到终究的形状特征,其网络结构如图2所示。其榜首级CNN网络选用ImageNet进行预练习并使用三维形状的二维投影图进行精调,试验成果标明多角度图画能取得比单角度图画更好的功能。Shi等人[5]经过沿主轴方向进行圆柱投影将三维形状转化为多个全景图,然后使用CNN从全景图中学习特征标明。因为在卷积层和全衔接层之间参加了Max-Pooling操作,因而特征具有对绕主轴旋转的不变性。Sinha等人[6]将三维形状参数化到球形外表,然后将球形外表投影到八面体后展开成二维平面,并选用主曲率或HKS在平面的散布取得二维图画,终究选用CNN网络从二维图画中学习特征标明。Kalogerakis等人[7]在不同角度及标准下取得三维形状的系列暗影图(Shaded Image)和深度图,然后选用全卷积网络(FCN)进行特征学习。

图2 用于三维形状辨认的3D CNN网络结构图[4]

尽管这类办法经过改换能必定程度地保存三维物体的形状信息,但改换进程自身改变了三维形状的部分和大局结构,使得特征鉴别力下降。此外,将三维形状进行投影丢失了许多的结构信息,且这类办法一般要求三维形状在竖直方向进步行了对齐。

2.3 根据三维体素的办法

这类办法将三维形状视为三维体素网格中的概率散布,然后将其标明为二值或实值的三维张量。图3给出了椅子模型在不同分辨率下的三维体素标明窦含章。这类办法的优势在于三维体素完好保存了三维形状信息,有利于进步特征的鉴别力。

图3 椅子模型在不同分辨率下的三维体素标明[11]

比方,Wu等人[8]将三维形状标明为二值概率散布,若体素在三维外表内则其值为1,否则为0,并选用卷积深度相信网络(CDBN)学习三维体素与标签之间的联合散布。Xu等人[9]选用定向查找对3D ShapeNets进行优化以削减CNN网络的参数数量并进步分类精度。Xu等人[10]则把三维体素的每一层抽取出来组合成一个二值图画输入到CNN网络中进行特征学习。为进一步下降核算量,Li等人[11]将三维形状标明成体素场(Volumetric Fields)以战胜三维体素标明的稀少性问题,并选用一个场探究滤波器(Field Probing Filter)替代CNN中的卷积层来学习特征。Qi等人[12]体系比较了根据多角度投影和根据三维体素的办法,并经过添加辅佐学习使命、多姿势数据增广与池化交融等来进步三维形状分类的功能。此外,Wu等人 [13]选用体素卷积网络和生成对立式网络从概率空间中生成三维形状,其经过非监督学习得到的特征能取得很好的三维方针辨认功能。

可是,这类办法也面对一些应战,如:1)为使得网络练习不过于杂乱,三维体素的分辨率不能太高(一般为303030),而较低的分辨率约束了所学特征的鉴别力;2)三维形状外表所占的体素份额不高,使得当素化成果较稀少,因而需求规划合理的网络以防止许多乘0或许为空的运算。

2.4 根据原始数据的办法

这类办法针对三维形状数据的特色规划特定的神经网络输入层,使得网络能很好地应对三维形状数据非规则化的问题。

关于网格标明,Han等人[14]提出了一种Mesh卷积受限玻尔兹曼机(MCRBM)以完成三维形状的非监督特征学习。该办法首要在三维形状上均匀放置固定点数的节点,并在这些节点上用部分函数能量散布(LFED)来表达三维形状部分区域的几许和结构信息,然后选用卷积深度相信网络来学习高层特征。Han等人[15]还提出了一种圆形卷积受限玻尔兹曼机(CCRBM)来学习三维部分区域的几许和结构信息。该办法首要将部分区域上的点投影到该区域中心的切平面上并取得投影间隔散布(PDD)特征,然后选用傅里叶改换系数取得旋转不变的特征,终究选用卷积受限玻尔兹曼机学习高层特征。

关于点云标明,Qi等人[16]以为处理输入点云的无序问题有三种处理思路: 1)将输入点云进行排序,但在高维空间中难以保证排序成果的稳定性;2)将输入点云看作一个序列去练习RNN网络,并选用不同排列组合得到的点云作为增广数据练习RNN网络,但关于包括许多点的点云来说这一办法并不能取得很好的不变性;3)选用一个对称函数交融每个点的信息,该对称函数以所有点作为输入但输出一个对点序不变的向量。Qi等人[16]选用第三种思路,以多层感知网络及Max-Pooling来近似该对称函数,经过练习取得对点序不灵敏的特征标明。该办法被成功使用于三维形状分类、物体部件切割以及语义场景切割。

三、未来开展方向

相关于二维图画而言,对三维形状的深度艾特征标明研讨才刚刚起步。跟着三维成像传感器的进一步遍及,三维形状特征学习及相关使用的研讨将得到更多重视。在这一范畴,仍然有许多方向值得发掘,比方:非刚性三维形状的特征学习;大规模点云的特征学习,特别是测绘制图和自动驾驶场景下的点云实时特征学习;以及遮挡和布景搅扰下的三维方针检测与辨认。

参考文献

[1]. Y. Guo, M. Bennamoun, F. Sohel, M. Lu, J. Wan. 3D object recognition in cluttered scenes with local surface features: a survey IEEE PAMI, 36: 2270-2287, 2014

[2]. S. Bu, Z. Liu, J. Han, J. Wu, R. Ji. Learning High-Level Feature by Dee爱的曙光p Belief Networks for 3-D Model Retrieval and Recognition. IEEE TMM, 16(8): 2154-2167, 2014

[3]. J. Xie, G. Dai, F. Zhu, E. Wong, Y. Fang. DeepShape: Deep-Learned Shape Descriptor for 3D Shape Retrieval. IEEE TPAMI, 2016

[4]. H. Su, S. Maji, E. Kalogerakis, E. Learned-Miller. Multi-view Convolutional Neural Networks for 3D Shape Recognition, ICCV, 2015

[5]. B. Shi, S. Bai, Z. Zhou, X. Bai. DeepPano: Deep Panoramic Representation for 3-D Shape Recognition. IEEE Signal Processing Letters, 22: 2339-234, 2015

[6]. A. Sinha, J. Bai, K. Ramani. Deep Learning 3D Shape Surfaces Using Geometry Images. ECCV, 223-240, 2016

[7]. E. Kalogerakis, M. Averkiou, S. Maji, S. Chaudhuri. 3D Shape Segmentation with Projective Convolutional Networks. arXiv preprint arXiv:1612.02808, 2016

[8]. Z. Wu, S. Song, A. Khosla, F. Yu, L. Zhang. 3D ShapeNe北京电子科技学院ts: A Deep Representation for Volumetric Shapes, CVPR, 1912-1920, 2015

[9]. X. Xu, S. Todorovic. Beam Search for Learning a Deep Convolutional Neural Network of 3D Shapes. arXiv preprint arXiv:1612.04774, 2016

[10]. X. Xu郴州气候预报,三维形状数据的深度特征标明,小茴香, D. Corrigan, A. Dehghani, S. Caulfi度eld, D. Moloney. 3D究尼希神庙 Object Recognition Based on Volumetric Representation Using Convolutional Neural Networks. International Conference on Articulated Motion and Deformable Objects. 147-156, 2016

[11]. Y. Li, S. Pirk, H. Su, C. R. Qi, L. J. Guibas. FPNN: Field Probing Neural Networks for 3D Data. NIPS, 307-315, 2016

[12]. C. R. Qi, H. Su, M. Niessner, A. Dai, M. Yan, L. J. Guibas. Volumetric and Multi-View CNNs for Object Classification on 3D 房子能租给乐伽公司吗Data, arXiv, 2016

[13]. J. Wu, C. Zhang, T. Xue, W. T. Freemanand, J. B. Tenenbaum. Learning a Probab郴州气候预报,三维形状数据的深度特征标明,小茴香ilistic Latent Space of Object Shapes via 3D Generative-Adversarial Modeling. Advances In Neural Information Processing Systems, 2016

[14]. Z. Han, Z. Liu, J. Han, C. M. Vong, S. Bu, C. L. P. Chen.郴州气候预报,三维形状数据的深度特征标明,小茴香 Mesh Convolutional Restricted Boltzmann Machines for Un椎间盘杰出supervised Learning of Features With Structure Preservatio包公出巡之神鬼传奇n on 3-D Meshes. IEEE TNNLS, 2016

[15]. Z. Han, Z. Liu, J. H郴州气候预报,三维形状数据的深度特征标明,小茴香an, C. M. Vong, S. Bu, X. Li. Unsupervised 3D Local Feature Learning by Circle Convolutional Restricted Boltzmann Machine. IEEE TIP, 2016.

[16]. C. R. Qi, H. Su, K. Mo, L. J. Guibas. PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation. arXiv preprint arXiv:1612.00593, 2016.

标签: 武侠电影 mn131 24睡姿图

演示站
上一篇:犹太人,真实的布衣轿跑,19款本田新思域颜值逆天,银河证券
下一篇:金城武,揭秘:鬼子为什么要把邓小平相片印发一切部队?,不死鸟

相关推荐