首页 汽车 健康养生 财经 综合 军事 教育 旅游 体育 文化 时事 国际 娱乐 科技 社会

外围线路中心 - LatentFusion:华盛顿大学与英伟达联合提出6D姿态估计新方法

您的当前位置:首页 > 财经 > 外围线路中心 - LatentFusion:华盛顿大学与英伟达联合提出6D姿态估计新方法
发布时间:2020-01-11 17:47:03

外围线路中心 - LatentFusion:华盛顿大学与英伟达联合提出6D姿态估计新方法

外围线路中心,作者 | keunhong park、arsalan mousavian、yu xiang、dieter fox

译者 | 刘畅

编辑 | jane

出品 | ai科技大本营(id:rgznai100)

【导读】在本文中,华盛顿大学和英伟达联合提出了一种新的用于未见过目标 6d姿态估计的框架。作者设计了一个端到端的神经网络,该网络使用少量目标的参考视角来重构目标的3d表示。使用学习到的3d表示,网络可以从任意视角对目标进行渲染。使用该神经网络渲染器,我们可以对输入图像的姿势直接进行优化。通过使用大量3d形状训练该网络进行重构和渲染,使该网络可以很好地推广到未见过的目标。作者还为未见的物体姿态估计提供了一个新的数据集-moped。并且最后在moped以及modelnet数据集上评估了未见物体姿态估计方法的性能。

论文地址:

https://arxiv.org/abs/1912.00416

目标姿态定义了它在空间中的位置以及方向。一个目标的姿态通常是由3d方向(旋转)和6个自由度(6d)定义的。了解目标的姿态对于涉及与现实世界对象交互的任务是至关重要的。例如,为了使机器人能够操纵目标,它必须能够推理出目标的姿态。在增强现实任务中,6d姿态估计可以实现虚拟交互和对现实目标的重新渲染。

为了估计目标的6d姿态,当前最新的方法需要为每个物体建立一个3d模型。尽管现在的3d重构和扫描技术可以生成目标的3d模型,但它们通常需要耗费大量的精力。很容易看出用这种方法为每个目标都去构建一个3d模型是不太现实的。

此外,现有的姿态估计方法在不同的光照和遮挡下,需要进行大量的训练。对于针对多目标训练一个网络的方法,姿态估计精度会随着目标的增加而显著下降。这是由于目标的外观与姿势变化很大。无论使用单个或多个网络,所有基于模型的方法都需要对训练集中没有的测试目标,进行额外的训练。

在本文中,作者研究了在没有3d模型的情况下,并且在测试时无需为未见目标进行额外训练的情况下,学习用于6d目标姿态估计的3d目标表示问题。本文方法的核心是根据已知的姿态获取目标的一些参考rgb图像,并在内部构建该目标的3d表示。使用内部的3d表示,网络可以渲染目标的任意视角。为了估计目标姿态,网络以梯度下降方式将输入图像与其渲染图像进行比较,以搜索渲染图像与输入图像匹配的最佳姿态。那如何将该网络应用于未见过的目标呢?我们仅需要使用传统方法来收集已经有的姿态视角图。并将这些视角图与相关的姿态一起提供给网络,它不需要花费时间和计算资源进行额外的训练。

为了重构和渲染未曾见过的目标,作者使用shapenet数据集(该数据集使用ms-coco的图像,并在不同光照下进行纹理化)在随机的3d网格上训练。本文的实验表明,该模型可以推广到新的目标类别和实例上。从实际角度看,作者认为在缺少高保真纹理的3d模型情况下,从有限的视角图对未曾见过的目标进行姿态估计是一个十分重要的问题。为此,作者提出了一个新的评估数据集,称为moped(model-free object pose estimation dataset)。本文的主要贡献如下:

本文提出了一种新的神经网络,该神经网络可以在参考视图数量有限的情况下重构一个新对象的潜在表示,并且可以从任意角度对其进行渲染而无需额外的训练.

本文演示了如何在没有额外训练时,对给定参考视图的未见目标进行姿态估计。

本文介绍了一个数据集moped。并提供了在可控环境中拍摄的目标参考图像,以及在不可控环境中拍摄的测试图像。

方法

在方法部分,作者分了两部分来阐述。一个是重构和渲染,一个是目标姿态估计。

上图是本文方法的概况图。整个流程主要有两个组成部分:(1)通过预测每个视图的特征量并将其融合为单个潜在表示来对目标进行建模。(2)对潜在表示进行深度和颜色上的渲染。

本文的建模过程受到了space carving的启发,考虑从多个视图中来获得观察结果,并利用多视图的一致性来构建规范化的表示。但是作者并没有使用光学一致性,而是使用隐藏特征来表示每个视图。上图阐述了每个视图特征的生成过程。

使用通道平均池化可以产生较好的结果,但是本文发现使用rnn可以稍微提高重构的精度,作者在实验章节做了相应的消融实验来验证。具体的融合模块如上图所示。

在目标姿态估计的方法上,作者使用了两个损失函数,一个是标准的l1损失,另一个是作者提出的一种潜在损失,它根据重构网络的结果来评估姿态的合适度。如下公式所示

实验

本文在两个数据集上评估了提出的方法:一个是modelnet,一个是moped。用于评估未见目标的姿态估计精度。

在实验细节方面,训练数据是来自shapenet,其中包含了近51300个shapes。采用blender的uv映射生成了多个uv图。采用beckmann模型进行渲染,其中渲染的概率是0.5。

网络输入大小是128*128。并对输入的目标进行了“放大”处理,使得每个目标的距离保持一致。在每轮训练中,会采样一个3d模型,然后采样16个随机的参考姿态和16个随机的目标姿态。作者使用adam优化器,固定学习率为0.001等。

表格1展示了在modelnet数据集上定量的结果。平均下来,本文的方法是最sota的。但是本文在有些目标上的表现却较差,原因之一可能是图像和空间分辨率。我们网络的输入和输出图像分辨率是128*128,立体表示的分辨率是16*16*16。这些可能会影响性能。

另外,本文介绍了moped数据集,它包含了11个目标,如下图所示,对于每个目标,作者拍摄了覆盖各个视角的rgb-d视频。

表2展示了在moped数据集上的定性比较。需要注意的是,本文的方法并未对测试目标进行额外的训练,而poserbpf方法对每个目标都单独训练了一个编码器。本文的方法在add和add-s两个指标上,都超越了之前的方法。

下图展示了对于不同测试图像的姿态估计结果。

作者做了一些消融实验,表格3显示了模型精度会随着参考视图数量的增加而增加。表格4展示了对两个view fusion变量的量化评估。尽管目标的平均性能非常接近,但是convgru的性能略优于平均池化。

总结

本文提供了一个新的框架,用于从参考视图中学习3d目标表示。本文的网络能够对该表示进行解码,以合成新的视图并估算物体的6d姿态。通过使用上千种3d形状来训练网络,我们的网络学会了在推理过程中重构和估计未见目标的姿态。与当前的6d目标姿态估计方法相比,本文的方法不需使用高质量的3d模型或对每个目标进行额外训练。因此,该方法具有处理大量目标并进行姿势估计的潜力。在未来的工作中,一个方向是可以研究在复杂场景中未见目标的姿态估计,在这些场景中目标可能会相互遮挡。另一个方向是使用网络优化技术来计算姿态估计过程。

上一篇:德国铁路回应瑞典环保少女“春运照”:她有一等座
下一篇:「铭记」126张照片缅怀毛主席一生

相关文章

辽宁省第三届普通高中学生诗词大会圆满落幕

辽宁省第三届普通高中学生诗词大会圆满落幕

传承优秀传统文化、弘扬社会主义核心价值观、丰富校园文化,由辽宁省教育厅主办,辽宁出版集团、辽宁教育出版社承办的辽宁省第三届普通高中学生诗词大会于2019年11月22日—23日在沈阳城市建设学院音乐厅成功举办。辽宁省普通高中学生诗词大会是辽宁省的一项传统文化活动,至今已成功举办三届,在省内高中生中有较高声望,已然形成文化品牌。

发布时间:2019-12-23 08:22:06
对方爱不爱你,看ta如何撩你?

对方爱不爱你,看ta如何撩你?

每天的常态就是一个人,从qq到微信,各种app刷一遍,最后都是很快兴味索然。和陌生异性交换秘密,通过内心深处的沟通交流后,决定是否交换彼此的微信;暗恋很辛苦,爱就说出来;让你发现未曾发现的秘密;发起问题,答对可领取红包;和朋友共同制作音乐相册合集;看看谁最关心你;......一个人久了难免孤单何不给自己一次机会去拓展有趣的领域去刷新相遇的概率来遇见未知,让生活更有趣!

发布时间:2019-12-23 08:20:14
LOL6.11版本分析:如何快速的制霸中野

LOL6.11版本分析:如何快速的制霸中野

大招的改动,全等级降至3秒,这对沙皇也是个大打击。而最让瑞兹受伤的,就是大招全等级cd提升至50秒。在6.11版本之前,中后期的瑞兹,在一波团战中,是可以开出两次大招,打出巨额aoe伤害的。前3层印记拿取的危险程度较小,随后危险悉数逐渐增加,这也让千珏的前期更加安全。

发布时间:2020-01-11 16:43:26
封面评论 | 葡萄按粒卖,过度包装的病还有治吗?

封面评论 | 葡萄按粒卖,过度包装的病还有治吗?

近年来一些“奇葩”的过度包装,产生了大量回收难、降解难的包装材料,给地球带来严重的环境污染。而相较于此,独粒包装的葡萄,分瓣包装的橘子,可谓有过之而无不及,其过度包装简直到了丧心病狂的地步。归纳那些令人发指的过度包装,我们大致可以归纳出其中几种门类。在缺少外部压力的前提下,营商者注定只会从“利益最大化”的角度去行事,这实则意味着“过度包装”的出现并不奇怪。

发布时间:2020-01-09 10:09:33
普京:俄罗斯没有将克里米亚归还乌克兰的条件

普京:俄罗斯没有将克里米亚归还乌克兰的条件

据俄罗斯卫星网6月5日报道,俄罗斯总统弗拉基米尔·普京称,俄罗斯没有将克里米亚归还乌克兰的条件。普京将于6月5日对奥地利进行工作访问。2014年克里米亚发生政变后,克里米亚于同年3月举行全民公投,超过95%的民众支持克里米亚加入俄罗斯。报道称,目前乌克兰仍然认为克里米亚是“暂时被占领的土地”。但与此同时,莫斯科曾不止一次表示,克里米亚入俄不违背国际法准则和《联合国宪章》。

发布时间:2019-12-23 08:23:05
人民日报:“万物互联”触发的创新才刚刚开始

人民日报:“万物互联”触发的创新才刚刚开始

人民日报 喻思南在想象力边缘跨出的一小步,可能就是创新航道驶出的一大步。只要想象不息,创新源头的活水就不止在近日举行的中国发展高层论坛上,5G成为会场的科技热词。从1G到5G、从“大哥大”到可折叠手机,移动通信技术跨时代的进步,源于人们对“万物互联”的想象和追求。早在计算机诞生之初,人们就有了通过电脑连接世界的设想。“万物互联”触发的创新才刚刚开始。人类创新的脚步,其实也是一场追赶想象的历险。

发布时间:2020-01-09 10:18:53

热门推荐

最新发布