UberNet是2017CVPR中的一篇经典论文步入视觉领域这么很多年依旧觉得浮于表面没有真的理解CNN其中的奥妙然后持续性去读一些经典的论文总是会发现很多惊喜。UberNet就是被我挖掘出来的一批经典的论文它的经典之处在于它的思想在10年后的今天已经成为了大家共识性知识。一、UberNet是用来解决同时训练多个任务边缘、分割、法向、目标、人体部件等,UberNet的具体做法从结构开始上图是UberNet的结构第一行是原始图片输入第二行是原始图片resize 1/2后再输入到网络中第三行是原始图片resize 1/4后输入到网络中这三行实现了图像scale每一行的结构的结构都是一样的这个就是UberNet的结构基于vgg16网络C1VGG16的conv1_2, C2conv2_2, C3 conv3_3, C4conv4_3、C5conv5_3, C7 fc7,C1…C6代表浅层特征~深层特征这个是feature scale每层特征上的E1到ETE^1 到E^TE1到ET是T个任务分支每个任务在C1~C6不同特征层都有任务分支因为不同任务需要的特征不同F1到FTF^1到F^TF1到FT是当前图像尺寸上的每个任务在不同特征层上的融合S1到STS^1到S^TS1到ST是不同任务在三种图像尺寸上的融合。二、UberNet的思想只有backbone是共享的多层特征都重要并不是最后一层feature 重要不同任务需要不同层级的feature例如边缘/纹理的浅层特征、具备结构的中层特征、语义的深层特征在现代结构中FPN就是所有层的特征进行融合所以多层特征融合已经成为了默认操作不同任务对feature的需求不同不同任务需要的是backbone的不同部分多尺度输入很重要不仅仅是input pyramid 还有feature pyramid不同分辨率的输入都要进入到网络中