作为一种能够自动学习高层次特征表达的机器学习方法，深度学习在许多领域上展现了其强大的性能。尤其在计算机视觉领域，研究人员相继设计了许多新颖且高效的深度神经网络，并在图像处理任务上取得了令人瞩目的成果。其中，卷积神经网络凭借其局部感知与参数共享的特点提升了模型的效率，一跃成为视觉任务中最流行的模型。在此基础上，张量环神经网络通过对优秀的神经网络进行低秩分解降低了模型参数量，缓解了模型冗余，在视觉模型压缩中广为应用。近几年，结合自注意力机制与卷积网络高效的结构设计范式，视觉Transformer 神经网络展示了良好的图像理解能力，在大规模数据集上的性能表现具有绝对优势。然而，上述视觉神经网络的手动设计过程依赖专家经验，耗时且易出错。一方面，结构参数的选择需要大量的实验和调试；另一方面，结构设计的过程高度耦合，不同参数的设置相互影响，难以单独调整和优化。神经架构搜索在给定的搜索空间中采用搜索策略进行神经网络结构的探索，并利用模型评估策略指导搜索策略学习更优的结构。大大减少了网络设计对专家经验的依赖，有效缓解了上述问题。为此，本文针对卷积神经网络、张量环神经网络以及视觉Transformer 神经网络各自的结构特色，提出了相应的高效神经架构搜索算法，实现对视觉神经网络的优化，并在流行的图像基准数据集上对算法有效性进行验证。本文的主要工作和创新点如下：
1 基于多目标演化的卷积神经架构搜索
针对卷积神经网络中下采样操作导致的平移等变性消失问题及应用需求，本文提出一种基于多目标演化的卷积神经架构搜索算法。该算法在搜索空间中引入低通滤波器以提升搜索所得网络的稳定性；并采用多目标演化算法同时对模型精度、计算量、参数量以及推理时间进行优化以探索更轻量的网络；在搜索过程中，采用不放回均匀采样以及梯度累积更新策略以实现更公平的模型评估。在图像分类任务上的实验结果表明，搜索得到的卷积神经网络不仅在输入受到扰动时展现了良好的鲁棒性，且以很小的参数量实现了较高的分类性能。
2 基于渐进式演化的张量环神经架构搜索
针对张量环神经网络中难以手动求解其张量秩最优组合的问题，本文对张量秩分布与张量环神经网络性能之间的关系进行探讨，并给出相应的张量环网络结构设计假设。基于所做的假设，提出了渐进式张量环神经架构搜索算法。在搜索过程中，对高性能张量环网络的张量秩分布区域进行估计，并将张量秩组合优化问题的求解空间逐渐缩小至该区域，从而促进搜索算法的收敛。在图像分类任务与动作识别任务上验证了搜索算法的有效性，所得到的张量环神经网络利用更少的参数取得了更高的精度；此外，在回归任务中，相比于陷入局部最优的非渐进式算法，所提出的渐进式演化算法可以搜索到最优的张量环神经网络，实现更优的收敛。
3 基于自适应演化的宽度视觉Transformer 神经架构搜索
针对视觉Transformer 神经网络缺乏对局部特征关注的问题，本文设计了基于宽度注意力机制的视觉Transformer 神经网络。宽度注意力通过联合关注不同层的注意力信息，提取更为全面有效的特征，增强视觉Transformer 的局部感受野。此外，宽度注意力机制可以灵活地应用于不同的视觉Transformer 网络，在不增加参数量的情况下带来性能增益。为了进一步优化视觉Transformer 神经网络，本文提出了基于自适应演化的宽度视觉Transformer 神经架构搜索算法。自适应演化算法通过学习不同候选操作的突变概率分布，指导演化算法对神经网络的探索方向，从而提升搜索效率。相比于传统演化算法，所提出的自适应演化算法实现了一倍以上的搜索效率提升；搜索得到的视觉Transformer 网络在多个视觉任务上展现了出色的性能，图像分类任务中，超过了参数量相当情况下目前
顶尖的分类模型。