面向第二语言学习的作文自动评估技术
文献类型：学位论文
| 作者 | 彭星源 |
| 学位类别 | 工学博士 |
| 答辩日期 | 2012-06-01 |
| 授予单位 | 中国科学院研究生院 |
| 授予地点 | 中国科学院自动化研究所 |
| 导师 | 徐波 |
| 关键词 | 作文自动评估 主题内容一致分析 潜在语义分析 词汇评分 多层面文本特征 有限状态转换 automated essay assessment topic content consistent analysis latent semantic analysis word score multi-level text features finite state transducer |
| 其他题名 | Techniques forAutomatic Essay Evaluation towards Second Language Learning |
| 学位专业 | 模式识别与智能系统 |
| 中文摘要 | 写作作为语言学习的一个组成部分，一直以来就占有举足轻重的地位。随着全球化的不断深入，第二语言学习的流行越发成为促进文化交流的一种趋势。在这种趋势之下，语言学习中传统的人工作文评估的诸多弊端越发凸显，为了解决传统人工作文评估的这些问题，作文自动评估技术应运而生，并逐渐成为计算机辅助语言学习的研究热点。 本文针对第二语言学习作文的自动评估技术进行了深入的研究，在中国少数民族汉语水平等级考试作文和初中英语口语看图作文两种题型上进行了特定方法的探索，取得了一定的成效。本文的主要工作归纳如下： 1.面向第二语言学习的作文评估任务，提出最关键的评分因素是主题内容一致性因素。随后，提出了两种主题内容一致为主的评分方法：基于向量空间模型的作文评分与基于词汇评分的作文评分。 基于向量空间模型的作文自动评分研究从作文文本的有效表达角度出发，介绍并提出了多种适用于文本表示的向量空间模型，包括传统的基于词的向量空间模型(W-VSM)方法，基于权重调整词的向量空间模型(WAW-VSM)方法，基于潜在语义的向量空间模型(LS-VSM)和基于序列化潜在语义的向量空间模型(SLS-VSM)。在评分模型建模方面，本文通过对比传统的KNN方法，首次将支持向量回归(SVR)方法与作文向量空间模型进行结合，提高了系统的鲁棒性和评分准确性。 基于词汇评分的作文自动评分研究，首先从词汇评分与作文评分的相关性角度出发，建立它们之间合理的关系假设：将作文评分看做作文词汇评分的线性加权和；其次，从多种方法上讨论了如何通过词汇的评分得到作文的评分，并通过实验验证了假设的正确性，实现了基于词汇评分的作文评分。此方法在相关度性能衡量上达到接近0.7的水平，已经接近数据集上人工评分相关性，证明了词汇评分与作文评分之间关系假设的合理性。 2. 面向中国少数民族汉语水平等级考试作文自动评估提出了多层面特征融合框架。 在考虑主题内容一致性特征的基础上，融入了浅表统计特征、语言特征等多层面特征，丰富了特征体系，进一步提高了自动评估系统的性能。实验结果表明，多层面特征融合后的作文自动评分系统性能已经超过人工评分性能。 3. 面向第二语言学习作文中的英语口语看图作文题型的自动评估提出了基于词汇-意群FST的评分模型。 针对传统的作文自动评分方法不适于在口语识别文本上评分的问题，结合作文拥有的口语性质和看图作文的顺序性两个方面的特点，提出了基于词汇-意群的FST评分模型。此评分模型对于识别结果文本的作文评分有较好的鲁棒性，由于其对有序性的区分能力，避免了常规方法不适应的原因，有效的解决了英语口语看图作文题型的评估问题。最终实验表明，此方法能够容忍一定的识别错误率，达到评分相关度0.80的水平，已经较为接近人工评分之间的相关度(0.87)。 |
| 英文摘要 | As a part of language learning, writing always plays a critical role in it. With the development of globalization, the prevalence of second Language Learning (SLL) has become a trend for promoting cultural exchange. Under this trend, the weaknesses of the conventional human assessment have become increasingly conspicuous. The problems in human assessment give rise to automated essay assessment. Therefore, its technology has become widely studied in Computer-Assisted Language Learning (CALL). This paper presents an elaborated study on automated essay assessment for SLL. Satisfactory results have been obtained in both MHK essay scoring and junior students oral English pictures composition scoring. The contribution and innovation highlights are summarized as follows: 1. We propose the key point, content consistency, of essay assessment in second language learning, and propose two methods to evaluate content consistency in essay assessment: the automated essay scoring method based on vector space models and the automated essay scoring method based on word scores. The first method based on vector space models starts the study from the expression of essay text. It introduces many vector space models to represent the essay text including the word-based VSM, the weight adapted wording-based VSM, the latent semantic-based VSM and the sequence latent semantic-based vector space model. In the part of scoring models, it first introduces the support vector regression (SVR) into the evaluation model. Compared with the conventional KNN method, it is more accurate and robust. The second method assesses an essay based on the scores of its words. It builds the hypothesis relationship between the score of the essay and the scores of its words at first, then proposes many techniques to calculate the word scores, and proves the hypothesis relationship by the experiments at last. The method performance is about 0.7 which is very close to the human raters' performance. The result proves the rationality of the hypothesis relationship. 2. We propose the framework of multi-levels features combination for the MHK essay assessment. Besides the content consistency features, this paper introduces many features in different facets, including the surface features and the language facet features. This enriches the feature system and promotes the performance of the evaluation system. The experimental results show that the performance of the system exceeds that of human raters. 3. We... |
| 语种 | 中文 |
| 其他标识符 | 200918014628042 |
| 源URL | [http://ir.ia.ac.cn/handle/173211/6471]  |
| 专题 | 毕业生_博士学位论文 |
| 推荐引用方式 GB/T 7714 | 彭星源. 面向第二语言学习的作文自动评估技术[D]. 中国科学院自动化研究所. 中国科学院研究生院. 2012. |
入库方式： OAI收割
来源：自动化研究所
浏览0
下载0
收藏0
其他版本
除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。