统计学习理论及SVM算法研究
文献类型：学位论文
| 作者 | 吴高巍
|
| 学位类别 | 工学博士 |
| 答辩日期 | 2003-06-01 |
| 授予单位 | 中国科学院研究生院 |
| 授予地点 | 中国科学院自动化研究所 |
| 导师 | 王珏 |
| 关键词 | 统计学习理论 经验风险最小化 结构风险最小化 统计学习算法 泛化 特征映射 核 边缘 支持向量机 Boosting Statistical Learning Theory Empirical Risk Minimization Structural Risk Minimization Statistical Learning Algorithm generalizati |
| 其他题名 | Study on Statistical Learning Theory and SVM Algorithms |
| 学位专业 | 模式识别与智能系统 |
| 中文摘要 | 统计学习理论的建立是统计推断领域内的一个里程碑，使得机器学习成为 了一门真正的科学，为学习算法的设计提供了坚实的理论基础。统计学习理论从经验风险最小化归纳原则出发，将“依概率近似”的思想 引入机器学习中，建立了泛函空间的大数定理，改变了机器学习领域的统计基 础。在此基础上，发展出非渐近理论，得到小样本归纳推理原则。 论文的主要内容包括： 从统计学习理论的统计基础开始着手，与经典模式识别相比较，从中可以 看到统计思想的发展进步：从统计学的大数定律到泛函空间的入数定律：从火 样本假定剑小样本理论。 基于小样本归纳原则，分析SVM方法和Boosting方法，归纳出统计学习算 法的设计规范。并据此，设计出解决不确定分类问题的后验概率支持向量机。 核技巧是SVM得以成功的一个重要因素，我们从特征映射的角度进行核的 研究，并将之应用于其他成功的方法中。 存沦文的最后部分，我们还讨论适应于大规模数据的学习算法。 |
| 英文摘要 | Statistical learning theory(SLT)is the milestone in statistical conclusion. It makes machine learning a true science,and provides a strong groundwork for designing learning algorithm theoretically. In SLT, Vapnik set out from Empirical Risk Minimization to change the statistical base in machine learning.He introduced the idea of probably approximately correct into machine learning. and proved the law of great numbers in functional space,Nonasymptotic theory Was further presented,and the inductive principle of small sample size was educed. The main content of this paper is the following We started with the statistical basis of SLY.Comparing with classical pattern recognition,we discovered that the statistical ideas in machine learning was developing,i.e.from the law of great numbers in statistics to that in functional space,from the assumption with large sample size to the theory of small sample size Based on the theory of small sample size.we analyzed the approach of SVM and Boosting,then a criterion for designing statistical learning algorithm W&S proposed.Form the criterion,We devised a Posterior Probabilitv SVM for an uncertain classification. Kernel techniques play an important role in SVM.From the viewpoint oi feature mapping,we analyzed kernel techniques,and applied kernel to othe successful algorithms. At last,we discussed the algorithm available to large-scale data sets. |
| 语种 | 中文 |
| 其他标识符 | 741 |
| 源URL | [http://ir.ia.ac.cn/handle/173211/5775]  |
| 专题 | 毕业生_博士学位论文 |
| 推荐引用方式 GB/T 7714 | 吴高巍. 统计学习理论及SVM算法研究[D]. 中国科学院自动化研究所. 中国科学院研究生院. 2003. |
入库方式： OAI收割
来源：自动化研究所
浏览0
下载0
收藏0
其他版本
除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。