近些年来，随着新疆经济的快速发展，新疆与内地的交往和联系日趋广泛和深入。但是对于新疆的民族群众而言，语言障碍阻碍了这种交往和联系。最有效的解决方法，就是提高少数民族教师和学生的汉语水平。而改善目前语言学习中的发音问题，是提高新疆“双语”教学的重要一环。语音识别技术能够识别出学习者的汉语发音，同时计算出该汉语发音的准确度，从而帮助学习者掌握汉语的准确发音；声调识别技术能够帮助学习者发音的声调，这对于那些少数民族学生来说是非常有帮助的。首先本文从理论上阐述了语音识别中的重要思想和方法。然后利用隐马尔可夫模型（HMM）、高斯混合模型和上下文相关的汉语三音子建模方法，基于HTK平台的语音识别的框架结构，建立了基于863语音库的说话人识别系统。并考察了单音素和三音素对识别系统的影响，发现三音素模型使得系统的识别率有了明显的提升。并比较不同的高斯混合数对识别系统的影响，发现了随着高斯混合数的增加识别率有明显的提升，但是当达到一定的程度后，识别率的增长开始变得缓慢，并且随着高斯混合数的增加，所需要的模型训练时间越来越长。通过实验我们找到了高斯混合数和耗费训练时间的平衡点。建立了特有的新疆少数民族说汉语的语音语料库，并对部分数据进行了标注。由于在863语音库的说话人识别系统上，我们对新疆少数民族说汉语的测试效果不是很理想。所以我们引入自适应调整技术，利用我们新疆少数民族群众说汉语的语音库中标注好的数据，对基于863语音库的说话人识别系统进行了声学模型上的调整，通过调整我们得到了系统性能上的明显提升。