高校英语专业四级测试写作评分标准的设计与效度研究

《高校英语专业四级测试写作评分标准的设计与效度研究》报告了TEM4写作评分研究的成果。基于语言测试效度整体观理论和写作测试效度验证的框架，提出本课题的理论框架。在全面综述二／外语写作能力理论研究、二／外语写作文本特征研究、二／外语写作评分研究等有关领域的研究成果的基础上，提出本研究的问题和研究方法。根据大规模问卷调查的结果和统计分析，作者设计了TEM4分项式评分标准，然后，运用多种统计方法，特别是基于项目反应理论(itemresponsetheory，IRT)的多层面Rasch模型(multi—facetRaschmeasurement)，并结合质的研究方法，对评分标准终稿进行效度验证。研究发现：总体而言，在评分员之间的一致性、评分员内部的一致性、评分员与受试之间的交互作用、评分量表的区分性等方面新标准均好于原标准，评分员倾向于选择新的分项式评分标准。他们认为，新标准的优势主要是，能够为写作教学提供更详尽的反馈信息，指导和促进教学，能够全面反映学生的写作能力，而且根据新标准打分更加准确。比较新评分标准的维度和评分员的实际评分策略发现，评分标准中的所有要求都在评分实践中得到反映。《高校英语专业四级测试写作评分标准的设计与效度研究》提出的TEM4的分项式评分标准在经过充分验证之后，已应用于TEM4写作的评分实践中，在一定程度上促进了英语专业四级测试的发展。另外，国内大规模、高风险语言测试的写作部分的评分标准尚无基于实验证据设计并加以效度验证的研究，本研究亦为类似研究提供了范例。