本发明涉及一种基于在线行为建模的驾驶员异常行为检测方法，属于图像识别及监测技术领域。该方法基于视频分析技术，通过对驾驶员的正常行为建模来检测驾驶员的异常行为，主要包括以下步骤：一、初始化，建立初始模型或对已有的模型进行更新；二、对驾驶过程中驾驶员的行为进行特征提取；三、结合初始模型和驾驶员的行为特征判断驾驶员的行为是否正常；四、对模型进行更新。本发明提供的一种基于在线行为建模的驾驶员异常行为检测方法，采用novelty detection的方式检测异常行为，采用多模态建模的方法，能对多种正常行为和多种异常行为进行处理，辅以人工标注的方法排除虚警，增加了方案的稳定性，减少了方案的错误率。