拼搏在线:“图像语义分割”自动学习数据不够吃,他们这么做来加

“图像语义分割”自动学习数据不够吃,他们这么做来加快给它填数据
拼搏在线

(公众号:) AI科技评论按:当今在AI、自动驾驶等技术越发成熟的时期,如何将一张图像中的物体自动分割归类,也即所谓图像语义分割,显得尤为重要。

当前大多数图像语义分割算法都是基于深度学习的方式,但是深度学习的效果很大程度上是依赖于大量训练数据的。目前的图像分割方法无非两种,一种是通过标注人员手动标注,如Cityscapes(提供无人驾驶环境下图像分割的数据集)中的标注,但这种方法需要花费大量的人力、物力和时间。例如,下面这张包含28个目标事例的图,处理它就需要人工手动点击580次,这真的要点到手疼。


另一种则是将目标分割看作是像素标注的问题(pixel-labeling problem)自动完成分割工作。但是这种方法自身有较大的不精确性,而又无法通过人员干涉来修正,所以很难用来作为地面实况的评测数据。那么在填充评测数据集(例如Cityscapes)时,我们能否做到既可以自动标注以节省成本,在需要的时候又能通过人工修正来保证精度呢?

在《用Polygon-RNN标注目标事例》(Annotating Object Instances with a Polygon-RNN )这篇论文中,作者给了我们肯定的回答。作者采用了一种不同于像素标注的方法,而是将目标分割看做是一个多边形预测的问题(polygon 拼搏在线官网 prediction problem),然后基于深度学习实现“半自动化”目标事例的标注。


这种算法首先需要给定一个边框真值,简单的说就是你用框选中要标注的事例。随后它会基于RNN(Recurrent Neural Network,递归神经网络)算法来预测一个包围目标事例的封闭的多边形轮廓。
这个多边形的预测先是通过CNN(Convolutional Neural Network,卷积神经网络)找到一个起点,然后以顺时针方向每次迭代生成多边形下一个顶点。RNN每一次的迭代输入都包含三个方面:

第一是图片的CNN特征表示(图中绿色方块);
第二是前两个RNN迭代输出的顶点(图中t-1和t-2的结果);
第三就是起点,它用来帮助RNN决定何时封闭多边形。



通过连续生成多边形的其他顶点,然后顺序连接所有顶点即形成这个多边形轮廓,整个过程(每一个目标事例)平均只需要250毫秒。这个过程有一个奇妙的特点就是,它的每一次迭代结果都会影响以后的迭代,这就给人工干预留了机会。如果有一个顶点的迭代偏离了目标事例,那么人们就可以通过修正这个顶点来改进目标分割的精度。
那么这种方法的结果怎样呢?在这之前我们先了解一个概念:交并比(IoU,Intersection over Union),也即两个图形的交集面积比上并集面积

拼搏在线彩神通


显然,在目标分割中,标注图形与目标事例之间的IoU值越大,说明精度越高。我们来看Polygon-RNN自动标记与像素标记方法标记的比较。在假设Cityscapes中人工标注的IoU为100%的情况下,Polygon-RNN自动预测的结果(没有标注人员干预)与通过像素标记方法分割目标的DeepMask和SharpMask(与DeepMask比有更高的分辨率,160 vs 56)比较如下图所示:


这里横轴指标记物体最长边的像素大小,纵轴为交并比(IoU)。显然,在目标事例像素较小的时候,Polygon-RNN方法要比像素标记方法精确度更高,而当目标事例较大时,Polygon-RNN的误差将会变得很大。
与人工标注相比会是怎样的结果呢?几位研究人员一方面雇佣了一个熟练的标注员,让他在随机选出的10张Cityscapes图上标记出所有的小汽车。而另一方面,研究人员通过算法模拟了一个“标注员”,让它修正Polygon-RNN自动生成的多边形。其结果发现使用Polygon-RNN,模拟“标注员”只需要大约9.39次点击,IoU值就可以达到78.4%,这要比人工标记快4.74倍。我们来感受下作者的结果:



几位研究人员同样还采用了KITTI的数据重复了上述的比较,结果毫不例外,Polygon-RNN在自动标注上和其他像素标注方法DeepMask、SharpMask等的精度不相上下,在人工干预的情况下则会明显优于后两者。这说明Polygon-RNN的方法根本不依赖于具体的某一个数据库,完全是一个能普遍使用的即节省成本,又节约时间,精度还完全胜任的半自动化标记工具。
当然,Polygon-RNN目前仍然有一个比较严重的问题,我们前面也说了,那就是对大尺寸目标事例它的误差会急剧增大。解决这一问题需要模型有更高的分辨率,这也就意味着需要更大的内存。能否通过优化模型本身来降低误差,而不增加内存需求呢?让我们拭目以待!

(公众号:) 注:原文链接 Annotating Object Instances with a Polygon-RNN

原创文章,未经授权禁止转载。详情见转载须知。