近年来，深度学习在计算机视觉、自然语言处理、语音识别等领域取得了巨大的成功，其中一个原因要归功于强大的深度神经网络。深度卷积神经网络是其中一类重要代表，已经成为现代计算机视觉里最常用的模型。然而，深度卷积神经网络的参数量和计算量巨大，往往无法满足实际应用的需求，设计更加高效的神经网络已成为一个重要的研究课题。本文分别针对特定任务卷积神经网络的设计、量化卷积神经网络的设计等问题，从手工设计、自动化搜索两个角度出发，探索更加高效的网络结构。本文的主要贡献总结如下：

针对单图像超分辨率这个任务，提出了一种基于数值微分方程的启发式设计模式，通过建立数值微分方程与卷积神经网络之间的联系，将 Leapfrog 方法、二阶龙格库塔法和三阶龙格库塔法对应的数值迭代公式直接映射为新的网络模块。通过这种方式得到的网络 OISR-RK3 在相近的计算量下超越了之前性能最好的工作。

针对单图像超分辨率网络模型计算量大的问题，引入轻量化深度可分离卷积以及金字塔结构，根据单图像超分辨率任务的特点提出了设计金字塔结构的参考准则，并且相应地提出了一种梯形金字塔网络，实验结果表明它能够在效率和性能之间取得更好的平衡。

针对卷积神经网络二值化性能损失过大的问题，引入基于权值共享的高效的神经网络架构搜索的方法，并且设计了一个适用于二值化卷积神经网络的搜索空间，解决了超网训练不稳定的问题。使用二值化神经网络架构搜索得到的网络与之前的研究相比，能够在计算量相近的情况下取得最佳性能，在 ImageNet 上达到 60.2% 的精度。