“iTEST英语文本指难针”探索测试命题新路径,智能改编研究成果亮相LTRC 2017
2017/07/26
作为国际语言测试领域最具影响力的学术会议之一,Language Testing Research Colloquium(LTRC)第39届年会于2017年7月17日至21日在哥伦比亚洛斯安第斯大学举行。今年LTRC的会议主题聚焦评估素养,“iTEST英语文本指难针”研究成果《智能文本改编与测试素材命制:教师应学些什么?》被会议录用,作为专题讨论会(LTRC Symposium)“语言测试中的人机合作:拓展评估素养构念的必要性”的第四个报告。
本次“语言测试中的人机合作:拓展评估素养构念的必要性”专题讨论会由上海交通大学金艳教授和中山大学金檀副研究员主持。讨论会由四个报告组成,来自培生教育、美国教育考试服务中心、上海交通大学、中山大学和复旦大学等多个科研机构和高等院校的测试研究者,分别围绕测试构念、机器反馈、自动评分与素材命制等议题,与国际同行分享了人机合作在语言测试中的应用并讨论了拓展评估素养构念的必要性。最后,来自美国教育考试服务中心的席小明博士做了精彩点评,她建议在未来的测试研究与实践中,应打开机器的黑箱、增加技术的透明度,从而推动人机合作。
在专题讨论会的第四个报告中,来自复旦大学的范劲松副教授汇报了一项由金檀副研究员、李百川博士和范劲松副教授共同完成的“iTEST英语文本指难针”应用研究——《智能文本改编与测试素材命制:教师应学些什么?》。该研究指出,基于真实试题语料驱动所研制的“iTEST英语文本指难针”能为教师的测试素材命制带来实用、有效的改编反馈,但在反馈维度上应进一步发展和完善。该研究还建议,为有效地使用改编反馈、更好地实现人机合作改编,教师应进一步学习和发展相关知识与技能。
复旦大学范劲松副教授在会上介绍“iTEST英语文本指难针”应用研究成果
“iTEST英语文本指难针”是外研社外研在线iTEST项目组特邀金檀副研究员和李百川博士主持研制的一项在线智能文本改编工具(网址:www.languagedata.net/tester)。该工具运用语言数据智能技术,以“英语试题语料库”为数据基准,提供文本定级(基于我国不同考试真题阅读文本语料数据,进行难度定级并计算核心指标)、难词评估(根据不同考试等级标注难词,为难词提供频次参考、释义说明与例句查询)与长度标注(对最长句添加下划线标识,根据考试等级提供最长句与文本长度基准范围)等多维度反馈。“iTEST英语文本指难针”可为英语测试命题素材的选取与改编提供智能反馈,并为英语测试相关研究提供实证数据。
“iTEST英语文本指难针”智能改编反馈举例
“iTEST英语文本指难针”目前应用于外研社“Unicomm试题库联合共建项目”,为该项目的命题团队提供试题素材难度和改编参考,是“iTEST大学外语测试与训练系统”题库建设质量保证体系的重要组成部分。“iTEST大学外语测试与训练系统”是国内最早将高质量试题库资源与全流程在线考务管理功能相结合的测试与训练系统,目前在全国300多所高校应用。除了依托外研社雄厚优质的内容优势,iTEST依托“Unicomm试题库联合共建项目”合作了来自全国50多所高校的100多位教师参与题库建设,通过高质量的命题培训、测评顾问的专业指导,以及“iTEST英语文本指难针”等命题工具的支持,Unicomm为iTEST持续不断建设高质量题库资源。