跳转到主要内容
下载

SiamCPN:视觉跟踪与暹罗center-prediction网络

计算视觉媒体体积7,页面253 - 265 (2021年)引用这篇文章

文摘

对象检测广泛应用于对象跟踪;anchor-free对象跟踪提供了一个端到端的single-object-tracking方法。在这项研究中,我们提出一个新的anchor-free网络,暹罗center-prediction网络(SiamCPN)。给出引用的对象的存在特性的初步框架,我们直接预测对象的中心点和大小在后续帧在Siamese-structure网络不需要perframe后处理操作。不像其他anchor-free跟踪方法是基于语义分割,实现anchor-free跟踪进行像素级预测,SiamCPN直接获得所需的所有信息跟踪,极大地简化了模型。一个center-prediction子应用于多个阶段的骨干自适应学习的经验暹罗净的不同分支。模型可以准确预测对象的位置,实现适当的修正,回归目标边界框的大小。与其他领先的暹罗网络相比,SiamCPN比较简单,更快,更高效,因为它使用更少的hyperparameters。实验表明,我们的方法优于其他主要暹罗网络GOT-10K UAV123基准,并与其他优秀的追踪器LaSOT, VOT2016, otb - 100同时提高推理速度1.5到2倍。

引用

  1. [1]

    Danelljan m;海格,g;沙赫巴兹•汗f;Felsberg, m .准确的规模估计为强劲的视觉跟踪。:英国机器视觉研讨会论文集,2014。

  2. [2]

    戴安娜,j·f·;Caseiro r;马丁斯,p;巴蒂斯塔,j .高速跟踪kernelized相关性过滤器。IEEE模式分析与机器智能37卷,3号,583 - 596,2015。

    文章谷歌学术搜索

  3. [3]

    Kalal z;Mikolajczyk k;Matas, j . Tracking-learning-detection。IEEE模式分析与机器智能34卷,7号,1409 - 1422,2012。

    文章谷歌学术搜索

  4. [4]

    风扇,r . c;张,f . l .;张,m;马丁,r . r .健壮tracking-by-detection使用选择和补全机制。计算视觉媒体3卷,3号,285 - 294,2017。

    文章谷歌学术搜索

  5. [5]

    Bertinetto l;Valmadre, j .;戴安娜,j·f·;Vedaldi, a;托,p . h . s . Fully-convolutional暹罗网络对象跟踪。:计算机视觉——大会2016车间。在计算机科学的课堂讲稿,9914卷。。华,g;Jegou, h。beplay登入施普林格可汗,850 - 865,2016。

    章谷歌学术搜索

  6. [6]

    李,b;吴,w;问:王;张,f . y .;兴,j·l·;燕,j。j SiamRPN + +:暹罗与很深的网络视觉跟踪的进化。:《IEEE / CVF计算机视觉与模式识别会议,4277 - 4286年,2019年。

  7. [7]

    李,b;燕,j。j;吴,w;朱,z;胡,x l .高性能视觉跟踪与暹罗地区建议网络。:《IEEE / CVF计算机视觉与模式识别会议,8971 - 8980年,2018年。

  8. [8]

    道,r;Gavves大肠;Smeulders, a . w . m .暹罗实例搜索跟踪。:《IEEE计算机视觉与模式识别会议,1420 - 1429年,2016年。

  9. [9]

    任,美国;他,k;Girshick r;太阳,j .更快R-CNN:对实时检测与地区建议网络。IEEE模式分析与机器智能39卷,6号,1137 - 1149,2017。

    文章谷歌学术搜索

  10. [10]

    朱,z;问:王;李,b;吴,w;燕,j。j;胡,w . m . Distractor-aware暹罗网络视觉物体跟踪。:计算机视觉——2018年大会。在计算机科学的课堂讲稿,11213卷。。法拉利,诉;赫伯特,m;Sminchisescu c;维斯,y。beplay登入施普林格可汗,103 - 119,2018。

    章谷歌学术搜索

  11. [11]

    张,z . p .;彭,h·w·更深、更广泛的暹罗网络实时视觉跟踪。:《IEEE / CVF计算机视觉与模式识别会议,4586 - 4595年,2019年。

  12. [12]

    郭,d . y .;王,j .;崔,y;王,z h;陈,郑胜耀SiamCAR:暹罗完全卷积视觉跟踪的分类和回归。:《IEEE / CVF计算机视觉与模式识别会议,6268 - 6276年,2020年。

  13. [13]

    张,z . p .;彭,h·w·;傅,j·l·;李,b;胡,w . m .海洋:对象清楚anchor-free跟踪。:计算机视觉——2020年大会。在计算机科学的课堂讲稿,12366卷。。Vedaldi, a;女孩,h;Brox t;弗拉姆,j . m . Eds。beplay登入施普林格可汗,771 - 787,2020。

    章谷歌学术搜索

  14. [14]

    汉族,g;杜,h;刘,j . x;太阳:;李x f完全传统anchor-free暹罗网络对象跟踪。IEEE访问7卷,123934 - 123943年,2019年。

    文章谷歌学术搜索

  15. [15]

    问:王;张,l;Bertinetto l;胡,w . m .;托,p . h . s .快速在线对象跟踪和分割:一个统一的方法。:《IEEE / CVF计算机视觉与模式识别会议,1328 - 1338年,2019年。

  16. [16]

    徐,y . d;王,z . y .;李,z . x;元,y;Yu g . SiamFC + +:对健壮的和准确的视觉跟踪目标的评估准则。:《AAAI会议上人工智能,34卷,7号,12549 - 12556,2020。

    文章谷歌学术搜索

  17. [17]

    彭,郑胜耀;x, y;王,k;他,l .准确锚免费跟踪。arXiv预印本arXiv: 2006.07560, 2020。

  18. [18]

    Krizhevsky, a;Sutskever i;辛顿,g . e . ImageNet与深卷积神经网络分类。ACM的通信60卷,6号,84 - 90,2017。

    文章谷歌学术搜索

  19. [19]

    他,k . m .;张x y;任,s .问:;太阳,j .深层残留图像识别的学习。:《IEEE计算机视觉与模式识别会议,770 - 778年,2016年。

  20. [20]

    曹,z;伊达尔戈,g;西蒙,t;魏,美国;酋长,y OpenPose:实时多人2 d姿势估计使用部分关联字段。IEEE模式分析与机器智能43卷,1号,172 - 186年,2018年。

    文章谷歌学术搜索

  21. [21]

    纽厄尔,a;杨,刘贤美;邓,j .堆放沙漏网络对人类造成估计。:计算机视觉——2016年大会。在计算机科学的课堂讲稿,9912卷。。Leibe b;Matas, j .;n·瑟;威灵电机,m . Eds。beplay登入施普林格可汗,483 - 499,2016。

    章谷歌学术搜索

  22. [22]

    帕潘德里欧,g;朱、t;金泽:;Toshev, a;Tompson, j .;Bregler c;墨菲,k对准确的多人姿势估计在野外。:《IEEE计算机视觉与模式识别会议,3711 - 3719年,2017年。

  23. [23]

    周,x y;王,d .问:;Krahenbuhl, p .对象作为点。arXiv预印本arXiv: 1904.07850, 2019。

  24. [24]

    法律,h;邓,j . CornerNet:检测对象作为搭配要点。:计算机视觉——2018年大会。在计算机科学的课堂讲稿,11218卷。。法拉利,诉;赫伯特,m;Sminchisescu c;维斯,y。beplay登入施普林格可汗,765 - 781,2018。

    章谷歌学术搜索

  25. [25]

    林,t . y .;Goyal p;Girshick r;他,k . m .;美元,p .焦损失茂密的目标检测。:《IEEE计算机视觉国际会议上,2999 - 3007年,2017年。

  26. [26]

    Russakovsky o .;邓,j .;苏,h;Krause, j .;Satheesh,美国;妈,美国;黄,z;Karpathy, a;科斯拉,a;伯恩斯坦,m . ImageNet大规模视觉识别的挑战。国际计算机视觉杂志》上3号卷。115年,211 - 252年,2015年。

    MathSciNet文章谷歌学术搜索

  27. [27]

    l·h·黄;赵,x;黄,k .问:GOT-10k:大高的基因多样性指标通用对象跟踪在野外。IEEE模式分析与机器智能doi:https://doi.org/10.1109/TPAMI.2019.2957464,2019年。

  28. [28]

    风扇,h;林,l . t .;杨,f;楚,p;邓,g;Yu, s . j .;巴姨,h;徐,y;廖,c;凌,h . LaSOT:高质量基准大规模单一对象跟踪。 In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 5369–5378, 2019.

  29. [29]

    林,t . y .;莫雅,m;Belongie,美国;海斯,j .;Perona一起,p;Ramanan d;美元,p;Zitnick c . l .微软可可:常见的对象上下文。:计算机视觉——2014年大会。在计算机科学的课堂讲稿,8693卷。。舰队,d;Pajdla t;Schiele b;Tuytelaars, t。beplay登入施普林格可汗,740 - 755,2014。

    章谷歌学术搜索

  30. [30]

    真实的,大肠;Shlens, j .;Mazzocchi,美国;锅,x;Vanhoucke诉YouTube-BoundingBoxes:大型高精度human-annotated数据集对象检测的视频。:《IEEE计算机视觉与模式识别会议,7464 - 7473年,2017年。

  31. [31]

    吴,y;Lim, j .;杨,m . h .在线对象跟踪:一个基准。:《IEEE计算机视觉与模式识别会议,2411 - 2418年,2013年。

  32. [32]

    吴,y;Lim, j .;杨,m . h .对象跟踪基准。IEEE模式分析与机器智能9号37卷,1834 - 1848年,2015年。

    文章谷歌学术搜索

  33. [33]

    Kristan m;a . leonardi;Matas, j .;Felsberg m;Pflugfelder r;Čehovin l;Voj´r t;海格,g;Lukežič,a;费尔南德斯g . et al .视觉物体跟踪VOT2016挑战的结果。 In:计算机视觉——大会2016车间。在计算机科学的课堂讲稿,9914卷。。华,g;Jegou, h。beplay登入施普林格可汗,777 - 823,2016。

    章谷歌学术搜索

  34. [34]

    穆勒,m;史密斯:;加尼姆,b .基准和模拟器无人机跟踪。:计算机视觉——2016年大会。在计算机科学的课堂讲稿,9905卷。。Leibe b;Matas, j .;n·瑟;威灵电机,m . Eds。beplay登入施普林格可汗,445 - 461,2016。

    章谷歌学术搜索

  35. [35]

    戴安娜,j·f·;Caseiro r;马丁斯,p;巴蒂斯塔,j .高速跟踪kernelized相关性过滤器。IEEE模式分析与机器智能37卷,3号,583 - 596,2015。

    文章谷歌学术搜索

  36. [36]

    Danelljan m;海格,g;汗,f·s·;Felsberg, m .歧视规模空间跟踪。IEEE模式分析与机器智能39卷,8号,1561 - 1575,2017。

    文章谷歌学术搜索

  37. [37]

    Danelljan m;海格,g;汗,f·s·;Felsberg, m .学习空间正规化相关视觉跟踪的过滤器。:《IEEE计算机视觉国际会议上,4310 - 4318年,2015年。

  38. [38]

    Bertinetto l;Valmadre, j .;Golodetz,美国;Miksik o .;托,p . h . s .主食:学习者的互补的实时跟踪。:《IEEE计算机视觉与模式识别会议,1401 - 1409年,2016年。

  39. [39]

    Valmadre, j .;Bertinetto l;戴安娜,j .;Vedaldi, a;托,p . h . s .端到端表示学习基于相关滤波器的跟踪。:《IEEE计算机视觉与模式识别会议,5000 - 5008年,2017年。

  40. [40]

    南,h;汉族,b .学习多域卷积神经网络视觉跟踪。:《IEEE计算机视觉与模式识别会议,4293 - 4302年,2016年。

  41. [41]

    Danelljan m;Bhat g;汗,f·s·;Felsberg m .环保:高效的跟踪卷积运算符。:《IEEE计算机视觉与模式识别会议,6931 - 6939年,2017年。

  42. [42]

    Danelljan m;罗宾逊,a;沙赫巴兹•汗f;Felsberg, m .超出相关性过滤器:学习视觉跟踪连续卷积运算符。:计算机视觉——2016年大会。在计算机科学的课堂讲稿,9909卷。、Leibe b;Matas, j .;n·瑟;威灵电机,m . Eds。beplay登入施普林格可汗,472 - 488,2016。

    章谷歌学术搜索

  43. [43]

    王,g . t .;c罗;熊,z . w .;曾,w . j . SPM-tracker:串并联实时视觉对象匹配跟踪。:《IEEE / CVF计算机视觉与模式识别会议,3638 - 3647年,2019年。

  44. [44]

    Danelljan m;Bhat g;汗,f·s·;Felsberg, m . ATOM:准确跟踪重叠最大化。:《IEEE / CVF计算机视觉与模式识别会议,4655 - 4664年,2019年。

  45. [45]

    米勒,g . a . WordNet。ACM的通信39-41 38卷,不。11日,1995年。

    文章谷歌学术搜索

  46. [46]

    郭问:;冯,w;周,c;黄,r;湾,l;王,美国学习动态暹罗网络视觉物体跟踪。:《IEEE计算机视觉国际会议上,1781 - 1789年,2017年。

  47. [47]

    在香港,z . b .;哲,c;王,c·h·;梅,x;普罗霍罗夫,d;道特区多商店追踪(集合):认知心理学的启发方法对象跟踪。:《IEEE计算机视觉与模式识别会议,749 - 758年,2015年。

  48. [48]

    张,j . m .;马,s . g .;Sclaroff s MEEM:鲁棒跟踪通过多个专家使用熵最小化。:计算机视觉——2014年大会。在计算机科学的课堂讲稿,8694卷。。舰队,d;Pajdla t;Schiele b;Tuytelaars, t。beplay登入施普林格可汗,188 - 203,2014。

    章谷歌学术搜索

  49. [49]

    兔子,美国;Golodetz,美国;Saffari, a;Vineet诉;程,m . m .;希克斯,s . l .;托,p . h . s:结构化输出跟踪内核。IEEE模式分析与机器智能38卷,10号,2096 - 2109,2016。

    文章谷歌学术搜索

下载参考

确认

代码和实验数据是可用的https://github.com/KevinDongDong/SCPN。其他实验所需的数据(包括训练数据、测试数据等)由网站提供了参考。

我们感谢匿名审稿人的宝贵意见。这项工作得到了中国国家重点研发项目(批准号2018 yfc0807500),以及中国的国家自然科学基金(批准号。U20B2070, 61832016)。

作者信息

从属关系

  1. 人工智能,学院的中国科学院大学,北京,100040年,中国

    陈董,获许董和昌盛

  2. NLPR自动化研究所,中国科学院,北京,100190年,中国

    陈董,获许董和昌盛

  3. 学校的人工智能、吉林大学、长春,130012年,中国

    粉丝汤

  4. CASIA-LLVISION联合实验室,北京,100190,中国

    陈董,徐董获刑,Hanxing姚明和昌盛

  5. LLVISION科技有限公司有限公司,北京,100190年,中国

    Hanxing么

作者
  1. 陈董
    看来作者出版物

    你也可以搜索这个作者PubMed谷歌学术搜索

  2. 粉丝汤
    看来作者出版物

    你也可以搜索这个作者PubMed谷歌学术搜索

  3. 获刑董
    看来作者出版物

    你也可以搜索这个作者PubMed谷歌学术搜索

  4. Hanxing么
    看来作者出版物

    你也可以搜索这个作者PubMed谷歌学术搜索

  5. 昌盛徐
    看来作者出版物

    你也可以搜索这个作者PubMed谷歌学术搜索

相应的作者

对应董获刑。

额外的信息

陈董是人工智能的一个学生在学校,中国科学院大学。他收到了计算机科学与技术专业本科毕业2017年石河子大学。他目前正在向一个工程。学位在模式识别国家重点实验室,中国科学院自动化研究所。他的研究兴趣包括计算机视觉和机器学习。

粉丝汤人工智能是一个学院的助理教授,吉林大学。他收到了B.Sc.华北电力大学的计算机科学学位,2013年他的博士学位从模式识别国家重点实验室,中国科学院自动化研究所于2019年。他的研究兴趣包括计算机图形学,计算机视觉和机器学习。

获刑董是中欧教授实验室在计算机科学中,自动化和应用数学(LIAMA)和国家实验室的模式识别(NLPR)自动化研究所中国科学院。他收到了B.Sc.和理科硕士学位计算机科学在2001年和2004年,清华大学,中国。他收到了洛林大学的计算机科学博士学位,法国,2007年。他的研究兴趣包括计算视觉媒体和计算的创造力。

Hanxing么收到B.Sc.学位建筑工程在1999年和2002年理科硕士学位,计算机科学,来自重庆大学,中国。他是北京的AI主任LLVISION科技有限公司有限公司。他的研究兴趣包括计算机视觉和视频检索。

昌盛徐是一个模式识别国家实验室的教授,中国科学院自动化研究所和中新数字媒体研究所的执行主任。他的研究兴趣包括多媒体内容分析、索引和检索、模式识别和计算机视觉。他他们30授予或未决专利和发表了200多篇研究论文在这些领域。他是一个副主编IEEE反式。在多媒体,ACM反式。在多媒体计算、通信和应用程序,ACM beplay登入/ Springer多媒体系统杂志》上。

权利和权限

开放获取本文是基于知识共享署名4.0国际许可,允许使用、共享、适应、分布和繁殖在任何媒介或格式,只要你给予适当的信贷原始作者(年代)和来源,提供一个链接到创作共用许可证,并指出如果变化。

本文中的图片或其他第三方材料都包含在本文的创作共用许可证,除非另有说明在一个信用额度的材料。如果材料不包括在本文的创作共用许可证和用途是不允许按法定规定或超过允许的使用,您将需要获得直接从版权所有者的许可。

查看本许可证的副本,访问http://creativecommons.org/licenses/by/4.0/。

其他从这个开放获取期刊论文是免费的http://www.beplay登入springer.com/journal/41095。提交一份手稿,请去https://www.editorialmanager.com/cvmj。

再版和权限

关于这篇文章

验证通过CrossMark货币和真实性

引用这篇文章

陈,D。,Tang, F., Dong, W.et al。SiamCPN:视觉跟踪与暹罗center-prediction网络。Comp。视觉媒体7,253 - 265 (2021)。https://doi.org/10.1007/s41095 - 021 - 0212 - 1

下载引用

关键字

  • 暹罗网络
  • 单一对象跟踪
  • anchor-free
  • 中心点检测