近年来，随着深度学习算法在人工智能领域（比如计算机视觉、语音识别和自然语言处理）的发展和应用，相关任务性能都有了突飞猛进的提高。然而，为了追求更高的性能，深度神经网络需要庞大的参数和繁重的计算量，当这些算法面对资源受限的嵌入式或者移动设备时，算力已经捉襟见肘，影响着深度学习算法在实际应用场景的部署，进而严重制约人工智能技术的落地。因此，深度神经网络压缩与加速研究对于深度学习进一步落地有着重要的学术价值与现实意义。

        本文围绕目前深度神经网络压缩与加速存在的若干问题，主要从压缩方法、压缩过程、特征学习3 个方面进行了系统地、深入地分析，同时设计了科学的、可行的解决方案，具体研究内容与创新点归纳如下：

        （1）提出了一种基于有效统一分解与剪枝的深度卷积神经网络压缩方法。剪枝改变了卷积层输入/输出的维度，导致一些特殊结构的最后一层无法压缩；低秩分解方法将一个卷积层分解为多个卷积层，增加了模型的实时内存消耗。针对这些问题，本文提出了一种基于有效统一分解与剪枝的深度卷积神经网络压缩方法。该方法通过构造一个可压缩的模块，即将一个卷积层分解为两层：新的基权值层和系数权值层。通过在系数权值上施加稀疏正则，提出的方法可以实现卷积层低秩和通道稀疏两个任务的联合优化。将单个卷积层可压缩构造模式拓展到整个网络，在数据驱动下该方法可以实现分解与剪枝的有效统一。此外，通过对压缩后模型中冗余的层进行合并操作，进一步减少了网络的冗余。在常用大、小规模的数据集和网络上，与多种主流方法比较，提出来的方法在压缩率、准确性、推理时间和实时内存消耗方面均获得了可竞争的结果。同时，在检测任务上也有很好的泛化性能。

        （2）提出了一种基于动态和渐进式稀疏正则的深度卷积神经网络剪枝方法。由于仅使用稀疏和剪枝无法获得令人满意的性能，现有的剪枝方法大多需要繁琐的过程，带来了额外的超参数和训练轮次。此外，有些工作没有考虑不同层间剪枝率的差异。针对这些问题，本文提出了一种基于动态和渐进式稀疏正则的深度卷积神经网络剪枝方法。该方法从头开始直接训练一个满足预设剪枝率的结构化稀疏网络。在训练过程中，不同层的稀疏分配率被动态地更新，同时使用基于泰勒级数的通道敏感性准则确定预期稀疏参数。进一步地，通过对预期稀疏参数施加渐进式变化的组稀疏正则，结构化稀疏网络被逐渐学习出来。提出来的方法利用基于动态稀疏的迭代阈值收缩算法解决了基于剪枝率的优化求解问题。在训练结束后，该方法直接移除冗余参数，即可获得满足预设剪枝率的压缩模型，整个过程不需要微调。实验结果表明，提出来的方法在大、小规模的数据集均取得了可竞争的结果。同时，在检测任务上也有很好的泛化性能。

        （3）提出了一种基于动态稀疏和特征学习增强的深度卷积神经网络剪枝方法。大多数剪枝方法仅仅利用训练好的模型参数作为训练的初始参数，而模型本身的特征表征信息没有被利用。针对这一问题，本文提出了一种基于模型特征学习增强训练的动态剪枝方法。在模型训练过程中，本文利用基准模型的特征表达信息和多个压缩子网络之间的类别信息来完成整个模型压缩任务，不需要任何数据标签信息监督。具体来说，从基准模型特征表达信息出发，本文利用基准模型(训练好的模型) 输出的预测类别信息和中间层特征作为监督信息指导压缩子模型的任务学习，增强了压缩模型学习基准模型特征的能力。从压缩子模型输出信息出发，本文利用不同压缩子模型的输出信息互相学习，增强了压缩子模型之间特征学习的能力。进一步地，结合提出的动态结构化稀疏正则方式，本文设计了无类别标签数据监督的端到端模型压缩框架。模型训练结束后，该方法直接移除冗余的参数，不需要任何数据类别标签信息进行微调。在多个网络结构和数据集下，提出的方法获得了很好的性能。