在这里插入图片描述

首先补充一下,避免被抨击(此处省略笑哭的表情),标题中说的“未来研究方向”其实是相对于之前比较成熟的方案而言的,一方面下面的总结是我一年半之前的毕业论文里总结的内容,另一方面下文总结中的方向可能当下正在陆续被研究者们推进中,已经不是适用于所有人的“未来方向”了,这里说明一下。

当然写这篇文章的初衷也是大家一起交流讨论,所以欢迎大家积极发表自己正在做的方向或者心目中的未来方向。

正文

之前分享了一篇多目标跟踪MOT的入门综述,主要是之前自己刚接触MOT时,网上的公开资料比较少,为了便于感兴趣的朋友能快速入门,就整理了自己毕业论文里的部分材料,写下了一篇综述:(点击链接进入)
多目标跟踪(MOT)最新综述,一文快速入门

没想到这篇文章得到了一些朋友的肯定,并因此结识了一些同行朋友,想想也是蛮有意义的。不过这篇写综述当时比较赶,漏掉了最后的“未来工作”,之前一直想着有时间再单独写一篇补充一下,但是拖延症一直没有行动。最近有几个做目标跟踪的朋友私信我询问可做的方向,就一起讨论了一下,也顺便写了这篇文章,希望MOT方向的朋友可以一起交流。

结合相关论文和网上开源资料,个人总结多目标跟踪后面可以在以下方向投入一下:

(1)多类别多目标跟踪,即MCOT

MCOT,Multiple Classes Object Tracking。当前的绝大多数MOT算法,包括我自己之前的工作在内,还都是只针对“汽车”或“行人”等单一目标种类进行的跟踪。但在实际应用中一般需要对多个类别的目标进行同步跟踪。所以,在后续研究中,从事MOT方向研究的朋友们可以考虑尝试同时对多类别多目标进行跟踪。

(2)多摄像头多目标跟踪

不难理解,多(跨)摄像头下的多目标跟踪挑战性更大。对于多(跨)摄像头,有两种工作环境,第一种是对于同一场景,多个摄像头进行拍摄,即在多个视角下进行。这种情况下,需要考虑融合来自多个镜头的数据信息。第二种是,每个镜头记录不同的场景,组成一个非重叠的多相机网络。此时,跨摄像头的数据关联变成了目标重识别(Reid)问题,进一步增加了研究难度。

(3)与其它计算机视觉任务结合的多目标跟踪

目前已经有一些研究者着手于将MOT与其它一些计算机视觉任务结合处理,他们的实验结果也表明这些任务能够从彼此中获益。大家可以考虑的结合包括但不限于:目标分割、行人重识别、人体姿势估计、动作识别等。举例说明,目标分割分支能够提供背景信息和场景结构,可能对MOT问题的处理很有帮助。

(4)基于当前方案的改进,如设计新的loss、新的网络设计、transformer等注意力机制等
在这里插入图片描述
这一部分也是当前大家主要在做的方向,也还包括为了便于嵌入式落地所做的轻量级设计等工作。当然,对于数据标注、生成的工作也很有意义,因为目标跟踪的数据标注十分耗时耗力。这一部分可做的工作其实蛮多的,篇幅及能力限制,就不在赘述了,欢迎大家积极补充。

其实,以上部分内容小汤之前也已经分享过一次百度飞桨pptracking的直播视频,里面对MOT也做了一些相似的说明,感兴趣的朋友可以看一下:(点击链接,即可进入)

多目标跟踪MOT入门教程、百度实时跟踪系统PP-Tracking介绍与上手

写在最后:
欢迎对目标跟踪、目标检测、目标分类、语义分割、深度估计等计算机视觉任务及自动驾驶技术感兴趣的朋友,加入技术交流群4群,和众多网友一起交流,一起玩!

推荐阅读:(点击进入)
kitti百度网盘分享 kitti百度云盘,全套kitti分享 自动驾驶

CVPR2022车道线检测Efficient Lane Detection via Curve Modeling