深度神经网络有着强大的学习能力，理论上可以拟合任意连续的非线性函 数，其拟合能力也会随着其深度和宽度的增加而提升。目前，大多数卷积神经网 络结构都需要人工设计，并结合大量实验，不断调整，才能得到一个良好的效 果。而对于不同的应用场景来说，最优的结构往往是不同的。为了解决这样的问 题，研究者们尝试用自动化的搜索算法来代替人工进行深度神经网络结构设计。 然而，由于深度神经网络的结构复杂性(不同深度、宽度、连接方式、卷积的组 合形式等)，深度神经网络结构搜索在效率方面还面临着很大挑战。另外，不同 视觉任务之间存在着差异性，如图像分类、语义分割、目标检测等，不同任务所 适用的卷积神经网络也不尽相同。针对这些问题，本文旨在结合深度神经网络的 自身特点，立足不同视觉任务的实际需求，围绕网络结构搜索的计算效率、精度 等重点难点，对深度神经网络结构搜索算法进行深入的优化研究。本文的主要研 究内容和贡献如下:

1. 提出了一种将强化学习与进化算法相结合的神经网络结构搜索算法。该 方法将传统进化算法中的随机变异操作，替换成为一种可学习的强化学习模块， 从而提高深度神经网络结构搜索的效率。此外，在神经网络不断演变的过程中， 父代网络与子代网络之间往往存在着一定的结构相似性。因此，父代网络学到的 知识(权重参数)可以由子代有效地继承，从而实现了搜索效率的进一步优化。 该方法仅需要 4 块 GPUs 和 1.5 天的时间即可完成搜索，计算资源消耗远远低于 少于传统方法。该方法的有效性和泛化性能在图像分类任务上的多个数据集上 都得到了验证，在图像分类任务大规模数据集 ImageNet 上得到了 75.7% 的精度。 此外，该方法还可以拓展到语义分割等任务上，并取得了超越传统手工神经网络的效果。

2. 提出了一种针对目标检测任务的神经网络结构搜索算法。由于图像分类 任务框架简单、目标函数单一等特点，传统的神经网络结构搜索算法都是在图像 分类任务上进行的，但目标检测任务有着更高的实用价值。目标检测任务与图像 分类任务存在着本质区别，导致针对图像分类任务设计的神经网络无法在目标检测任务上取得突出的效果。目标检测任务的框架相对复杂，且计算量大，直接 将传统的神经网络结构搜索算法应用其中的话，所需要的计算资源令人无法承 受。基于此，本文提出了一种基于拓扑图的方法，将搜索空间中所有候选神经网 络结构整合进一个大型拓扑图中，并对该网络统一训练，从而节约了搜索过程中 对每个神经网络进行训练所需要的时间成本。该方法在目标检测大规模数据集 COCO 上，大幅度超越了传统手工设计的神经网络。在与 ResNet-50 相同计算量的情况下，取得了 43.4% mAP 的精度，比 ReNet-50 高出 4% 左右。