高空间分辨率、高光谱分辨率、大幅宽与大数据量是高光谱卫星数据发展趋势，传统高光谱影像的像素级分类面临难以处理海量数据、无法高效获取复杂海量影像中隐含信息的困境。已有研究开始关注高光谱影像的场景级分类，并逐步建立完善高光谱遥感场景分类数据集。然而，目前的数据集制作过程多参考高空间分辨率可见光遥感场景数据集的制作方法，主要采用遥感影像的空间信息进行场景类别解译，忽视了高光谱场景的光谱信息。因此，为构建高光谱影像的遥感场景分类数据集，本文利用“珠海一号”高光谱卫星拍摄的西安地区高光谱数据，使用无监督光谱聚类辅助定位、裁剪与标注待选场景样本，结合Google Earth高分影像进行目视筛选，构建6类场景类型和737幅场景样本的珠海一号高光谱场景分类数据集。并基于光谱与空间两个视角开展场景分类实验，通过视觉词袋、卷积神经网络等方法的基准测试结果，对不同算法在现有多光谱和高光谱遥感场景分类数据集下的性能进行深入分析。本研究可为后续的高光谱影像解译研究提供了有力的数据支撑。