目标跟踪作为计算机视觉研究重点之一，在刑侦、智能监控以及智能交通等方面都有着极其重要的应用价值。目前目标跟踪面临环境复杂多变、目标发生非刚性形变、目标被遮挡、目标尺度变换等挑战。在目标跟踪领域，特征提取作为一个最重要环节，提取到的特征好坏直接影响目标跟踪算法的准确性，同时是跟踪鲁棒性的保障。如何提取到丰富且鲁棒的特征是本文研究需要思考的问题。

目前，主流的目标跟踪算法主要为：传统目标跟踪方法和基于深度学习的目标跟踪算法。传统目标跟踪方法在跟踪实时性上表现较好，但是由于特征提取能力受限，导致在不同应用环境下准确性和鲁棒性受限。基于深度学习的目标跟踪算法特征提取能力很强，最大的挑战在于实时性。鉴于此，本文对基于深度学习的目标跟踪网络框架进行深入研究，权衡准确性和实时性，对跟踪网络的结构改进，达到准确实时跟踪目标的目的。

本文包含以下研究内容：

（1）分析现有基于深度学习的目标跟踪算法，存在的主要问题在于实时性。对Muti-Domain Networks深入研究表明，算法优点在于准确性高，但是实时性过低。本文对其结构和跟踪策略进行分析改进，旨在提高跟踪速度，提出了简约跟踪框架Fast Deeplearning Tracking Networks。与原始算法对比，解决了速度过低的问题，速度提升约10倍左右，在PC机上面达到20.5FPS。

（2）FDTNet虽然在PC机上基本达到实时跟踪，但在Jetson AGX Xavier上进行速度提升已经到达一个瓶颈，且牺牲了稳定性来提升实时性，算法普适性欠佳。为了满足工程应用，需要在小型嵌入式平台上达到基本实时，且需要稳定准确的跟踪到目标。分析交叉滤波在跟踪框架上的应用，对已有算法Fully-Convolutional Siamese Networks进行改进，意在更进一步提升跟踪速度和准确性。提出了改进算法Muti-Features Siamese Networks，在卷积层中引入特征融合和空洞卷积，同时提升跟踪速度和精度。在PC机上面针对不同的测试数据集进行测试，最低速度达到40FPS，满足实时性要求。

（3） PC机上的算法仿真测试证明Muti-Features Siamese Networks算法在实时性和准确性上表现优异，可将其载入到Jetson AGX Xavier硬件平台，应用于工程项目中。工程应用需要先在服务器上完成跟踪网络框架的训练，再将其载入小型硬件平台Jetson AGX Xavier进行实际视频跟踪性能测试。在Xavier上面，Siam-MF算法的速度可以达到26.5FPS，相比PC机下降了2.3倍，基本满足车载系统的速度要求。

（4）分析本文算法在应用中的优势和缺陷，对未来的改进进行展望。总结了基于深度学习的目标跟踪算法在未来的发展趋向，硬件方面的发展需求以及软件方面的改进可能性。

综上，本文针对基于深度学习的实时目标跟踪问题，从改进跟踪网络框架、改进跟踪策略、改进卷积结构、引入特征融合等方面进行深入研究，并提出了保证实时性和准确性的目标跟踪算法。将提出的算法应用到实际工程项目中，满足速度要求，且稳定跟踪到目标，具备实时应用的能力。

 

摘 要............................................................................................ I

Abstract........................................................................................ III

目 录........................................................................................... V

图目录........................................................................................ VII

表目录.......................................................................................... IX

第1章 引言.................................................................................. 1

1.1 研究背景.......................................................................................... 1

1.2 研究意义.......................................................................................... 2

1.3 目标跟踪研究现状.......................................................................... 2

1.3.1 传统的目标跟踪方法............................................................... 2

1.3.2 基于深度学习的目标跟踪方法............................................... 4

1.4 各章节主要内容.............................................................................. 6

第2章 目标跟踪与深度学习...................................................... 9

2.1 目标跟踪特征表示.......................................................................... 9

2.2 目标跟踪待解决问题.................................................................... 10

2.3 深度学习........................................................................................ 11

2.3.1 神经网络................................................................................. 12

2.3.2 卷积网络................................................................................. 15

2.3.3 空洞卷积................................................................................. 17

2.4 典型深度学习跟踪算法................................................................ 18

2.5 测评方式........................................................................................ 19

2.6 本章小结........................................................................................ 21

第3章 基于MDNet改进的FDTNet跟踪算法...................... 23

3.1 基础网络MDNet........................................................................... 23

3.2 卷积网络VGGNet[43].................................................................. 24

3.3 改进网络结构FDTNet [51].......................................................... 25

3.4 跟踪策略........................................................................................ 28

3.5 实验结果........................................................................................ 29

3.6 本章小结........................................................................................ 32

第4章 基于Siam-FC改进的Siam-MF跟踪算法.................. 33

4.1 基础网络Siam-FC.......................................................................... 33

4.2 卷积网络AlexNet[41].................................................................... 34

4.3 改进网络结构Siam-MF [52].......................................................... 35

4.4 跟踪策略.......................................................................................... 38

4.5 实验结果.......................................................................................... 40

4.6 算法分析总结.................................................................................. 42

4.6.1 飞机数据集............................................................................... 42

4.6.2 公开数数据集OTB2015.......................................................... 44

4.6.3 实验室测试数据....................................................................... 48

4.7 本章小结.......................................................................................... 49

第5章 Siam-MF的跟踪应用................................................... 51

5.1 应用概述.......................................................................................... 51

5.2 硬件平台介绍.................................................................................. 52

5.3 实施流程.......................................................................................... 53

5.4 结果分析.......................................................................................... 54

5.5 本章小结.......................................................................................... 55

第6章 总结.............................................................................. 57

6.1 本文工作总结.................................................................................. 57

6.2 展望思考.......................................................................................... 58

参考文献...................................................................................... 61

致 谢.......................................................................................... 65

作者简历及攻读学位期间发表的学术论文与研究成果.......... 67