近年来，深度神经网络在计算机视觉、语音识别以及自然语言处理等多个领域取得了巨大成功。尤其是深度卷积神经网络，大幅提升了图像分类、目标检测、语义分割等视觉任务的性能，在某些任务上已经达到甚至超越了人类水平。然而，随着模型性能的不断提升，网络结构却越来越复杂，同时参数量和计算量也随之增加。过高的复杂度严重阻碍了模型在一些低功耗、低存储的设备上部署，如智能手机、嵌入式芯片等。因此，研究如何在保证性能的同时实现深度模型的轻量化，对推动深度卷积神经网络在移动设备上的大规模应用，具有重要意义。本文针对这一研究课题，首先从卷积神经网络通道剪枝、低比特量化等方法入手，人工地压缩和加速深度卷积神经网络，并在此基础上对自动化的轻量卷积神经网络结构设计方法展开了深入研究。具体研究内容和主要创新点归纳如下：

（1）提出了一种基于多损失感知的卷积神经网络通道剪枝方法。通道剪枝的关键在于如何准确评估卷积神经网络中不同通道的重要性，现有方法根据通道的模长、梯度大小或对应特征的重构误差等指标进行通道选择，然而并没有充分挖掘原模型的有用信息，可能错误地删除掉一些重要的通道。为了从庞大的参数空间中准确找到冗余的卷积通道，本文设计了一种多损失融合的通道选择策略。首先，引入全局的分类误差监督不同层的通道选择，以提高所选通道的类别感知能力。其次，通过最小化剪枝前和剪枝后模型特征间的最大平均距离（Maximum Mean Discrepancy, MMD）来对齐两者的特征分布，并使用同样的方法对齐它们之间的语义分布，以保留原模型的特征和语义信息。在公开数据集上的实验结果表明，基于本方法得到的轻量级模型的精度和压缩率都是已知方法里最高的。

（2）提出了一种基于聚类正则化的卷积神经网络低比特量化方法。尽管低比特神经网络（二值或三值）配合硬件实现能达到非常高的计算效率，但由于缺乏有效的训练手段，低比特模型的性能在大规模数据集上严重下降。本文提出了一种带有聚类约束项的模型训练方法，在训练期间将约束项加到目标损失函数中，通过交替优化模型的权重、权值缩放系数和聚类指示矩阵，以鼓励浮点参数在预定义的聚类中心附近自然聚集。训练结束后各层权重分别被量化到距离最近的聚类中心，以保证量化前的浮点参数和量化后的低比特参数之间有更小的间隔，从而实现浮点参数向低比特参数的平滑过渡。此外，整个优化过程只引入了一个正则项，并没有增加额外的计算成本。大量的实验结果表明所提方法能够有效降低低比特神经网络的量化误差，并在已知三值量化方法中取得了最高性能。

（3）提出了一种基于超网络参数解耦的轻量级卷积神经网络结构自动搜索方法。由于算法效率和灵活性很高，基于超网络的One-Shot 方法经常用于轻量级的网络结构搜索。在网络结构搜索任务中，如何准确且高效地评估模型的性能是一项挑战。基于超网络的模型性能估计方法效率很高，但超网络参数的耦合导致模型性能估计的准确性和稳定性较差。因此，本文提出了一种针对超网络参数的解耦方法。通过不断减少搜索空间中候选操作的数量，同时增加超网络的参数，实现不同结构间参数的解耦。实验表明，本文提出的方法有效降低了超网络参数的耦合程度，显著提高了模型性能估计的准确性和稳定性。在Flops 和时延两种不同的搜索约束下，所提方法均能找到性能更强的轻量级卷积神经网络结构。

（4）提出了一种基于角度的轻量级卷积神经网络结构搜索空间裁剪方法。指数级的搜索空间规模给搜索算法和模型性能估计带来了巨大挑战，针对One-Shot方法中存在的模型性能估计问题，前文已经从单一算法改进的角度提出了超网络参数解耦方法。本方法从搜索空间的角度重新思考轻量级网络结构搜索面临的挑战，致力于从根本上缓解现有方法在大规模搜索空间中存在的问题。本文首先提出了一种基于角度的指标，通过计算权重间的夹角近似估计模型的性能，所提指标相比于现有指标效率更高、准确性和稳定性更好。基于角度指标，进一步提出了一种通用的搜索空间裁剪方法，通过动态地裁剪搜索空间中冗余的候选操作，最终得到一个规模更小且质量更好的搜索空间。该空间不依赖特定的搜索算法，因此能够降低不同模型搜索方法的搜索难度。实验表明，SPOS、DARTS等方法均能在本文方法裁剪后的搜索空间中找到精度更高的轻量级模型。