针对普通的三维卷积神经网络（3D CNN）从一个尺度上提取特征，会丢失部分细节信息，且对小样本任务表现一般的问题，本文提出了一种三支路的3D CNN，从不同尺度上提取特征后进行加权特征融合，从而获取了更为全面的特征；并引入数据增强技术，从而改善了小样本情形下的分类性能。现有特征融合方法通常对各个支路直接进行拼接，本文采用加权拼接的特征融合方法，将各特征分别乘以一个加权系数后再进行拼接，该系数通过模拟退火算法求取。本文方法在公开数据集Indian Pines,Pavia University,Salinas等上采用10%的数据进行训练，分别得到了98.60%、99.83%、99.97%的总体准确率，与各类对比方法相比，提升了高光谱遥感影像分类问题的准确率。