大学英语成绩测试中的信度和效度

第２７卷第３期　Ｖｏ１．２７，Ｎｏ．３　吉首大学学报（社会科学版）　Ｊｏｕｒｎａｌ　ｏｆ　Ｊｉｓｈｏｕ　Ｕｎｉｖｅｒｓｉｔｙ（Ｓｏｃｉａｌ　Ｓｃｉｅｎｃｅｓ　Ｅｄｉｉｔｏｎ）　２００６年５月　Ｍａｙ．２００６　语言研究　大学英语成绩测试中的信度和效度　赵其娟　，赵其顺　（１．青海民族学院外语系，青海西宁８１０００７；２．河北科技大学外语学院，河北石家庄０５００５４）　摘要：成绩测试是大学英语教学中必不可少的一个环节，是检测一定阶段学生学业成绩和教师教学效果的手　段。而成绩测试中衡量测试结果的两个重要特性是信度和效度。了解信度和效度的研究目的和内容，才能设　计客观、公正、科学而有价值的成绩测试试题，完善成绩测试的评价体系。　关键词：成绩测试；信度；效度　中图分类号：Ｈ３１０．４　文献标识码：Ａ　文章编号：　１ｏｏ７—４０７４（２００６）０３—０１５９—０４　作者简介：赵其娟（１９６５一），女，山东济南人，青海民族学院外语系副教授。　赵其顺（１９５５一），男，山东济南人，河北科技大学外语学院副教授。　以教学大纲为依据，以教材为参照，检测教师的教学内　容，评价学生学习效果的测试就是成绩测试（Ａｃｈｉｅｖｅｍｅｎｔ　Ｔｅｓｔ）。成绩测试不同于水平测试，前者与教学密切相关，而　一、对成绩测试中信度和效度进行研究　的目的　信度和效度，是衡量学期成绩测试质量高低的最重要　的指标，也就是说，试题只有通过信度和效度的检验后，才　能有效地投入使用。信度指的是测量数据和结论的可靠　性、稳定性程度，也就是说考试结果的可靠性，即学生的考　后者与教学毫无关系，它检测的是学生英语学习的水平或　能力ｏ［１　长期以来，外语教师在命题的过程中一直习惯于单　纯以大学英语四、六级考试为模式，凭自己的教学经验及教　学对象的需要设计试题，多数教师忽略英语自身的特点和　规律，忽略试题编写的目的、所要达到的目标以及测试内容　等因素，只是收集手头现成的试题，把一些无任何价值、又　不相干的题堆积起来，测试内容则过多地重视英语知识点　的测试而不是英语自身，标准化测试题型成为英语试题库　中的主要测试形式。试卷的老套和模式的僵化只能检测学　生的语言知识点，而无法检测学生运用语言的能力。这种　传统的设计测试卷的方法对教学和学习效果能否提供公正　试成绩与真实水平相一致的程度。信度受测试环境、疲劳、　焦虑等因素的影响，与语言能力无关。而这些影响因素越　小，测试的信度就越大。　考试信度的大小说明考试的可靠　程度。我们可以用信度系数，即表明信度的大小统计量，来　表示信度的大小。信度系数越大，表明测量的可信程度就　越大。信度系数的最大值为１。效度是指大学英语成绩测　试完成预期的测量任务，达到预期的测试目标的程度，即测　的评价？究竟有多大的科学性、可靠性和有效性？均值得　反思。本文在对大学英语测试中信度和效度的研究目的、　研究内容以及二者的关系进行深入分析的基础上，认为应　量工具在多大程度上反映了我们想要测量内容的真实含　义。效度有两层含义：一是考试内容；二是考试测出的程　度。效度是针对测试目的、测量结果而言的。效度是最大　根据信度和效度的有机关系来构建科学而合理的大学英语　成绩测试试题。　收稿日期￣２００６—０４—２４　１５９　维普资讯 http://www.cqvip.com

限度地测量我们想要测量的语言能力的结果。＿２　效度相对　于不同的测试卷有其各自的效度；相同的试卷用于不同的　目的、功能和范围，效度也不同。评价一个测试是否有效，　要从多角度、多方面检测测试结果与测试目标的符合程度。　大学英语成绩测试中信度研究的目的表现为：第一，改　进大学英语成绩测试。教育部副部长吴启迪指出，改革大　学英语四、六级考试等大学英语教学评价系统，从原来的以　评价语法、阅读、理解为主转变到评价学生的听说能力及英　性，保证较高的评分者信度。　第二，再测信度指同一个被测试卷先后两次测验成绩　所得结果的一致性程度。再测信度主要测量所测结果短期　内不会随着时间的推移而改变，保持一定的稳定性和一致　性。再测信度的高低与测量时间的间隔有密切关系。时间　间隔越长，信度越低；反之，时间间隔越短，信度就越高。所　以，再测信度适合于速度测量。　第三，复本信度指被测试卷在两个等级测验上成绩的　一语综合应用能力上来，从原来单一测评教学结果逐步转向　教学全过程整体监控和评价上来。所以，为了适应课改精　致性程度。即测试学生相同能力的两套不同的测试卷的　成绩的一致性。这两个测试在试卷模式、题数、难度、目标　神和教学理念以及我国目前的英语教育形势，以评价学生　的英语综合实用能力为主的大学英语四、六级考试新题型　将于今年与考生见面。那么，成绩测试也要紧随形势，把考　试的重点放在考查语言实际运用能力方面，着重测试学生　用英语进行交际的能力。第二，推动题库建设中试题的理　论研究。现代高新技术不断运用于英语教学和英语成绩测　试中，语言测试向标准化、科学化方向发展，试题库是语言　测试的标准化、科学化的产物。反之，语言测试又是试题库　建立和生存的根本保证。第三，开发改革大学英语成绩测　试的评估体系，制定切实可行的评分方法和评分标准，避免　成绩测试评估体系的片面性和主观随意性，提高评估体系　的信度。　’　大学英语成绩测试中效度研究的目的表现为：第一，设　计一个高效度的考试，使成绩测试中的考题最大限度地体　现大学英语的教学目标，为准确测量学生英语水平提供科　学的手段，保证考试后效，使考试更好地为教学服务。第　二，探索新的教学要求下的考试题型的设计，探索考核什么　语言技能到怎么考核语言技能，使测试内容和形式接近语　言运用的实际，使语言测试不仅包括语言知识，而且包括使　用语言的能力。　第三，检测学生的语言知识和实际应用能　力的一致性。注重成绩测试中语言的整体性、艺术性，测试　题目的多样性，从而提高教学水平，使得对教学工作的评价　和学生学习成绩的评定更加公正、客观。　二、测试中信度和效度的研究内容　信度是衡量大学英语成绩测试表质量高低的重要指　标。即检测结果是否反映了学生稳定的、一贯性的真实特　征。简单地说就是成绩测试结果的可信程度。这种可信程　度体现在：检测结果跨时间的一致性，也就是在不同时间所　测结果的一致性。检测内容的一致性，即所测内容具有同　一特质。不同评分者的一致性，即不同评分者对同一检测　结果的评分一致。由此，根据信度研究的目的、方法的不　同，信度一般可分为如下几种类型：评分者信度、再测信度、　复本信度和内在一致性信度。　第一，评分者信度指的是两个或几个评分者之间对同　一组测试结果评定的一致性程度。在成绩测试中主观题的　评分标准会因人而异，评分者的信度也会因评分者的人数　不同而采用不同的测量信度的方法，确定评价标准的一致　１６０　要求上一致，试题不可雷同。一套测试卷的成绩与另一套　测试卷的成绩一致，以达到平行测试的目的。＿２　这种对信度　的检测适合于题库中试题的检测，复本信度弥补了再测信　度之不足，是一种常用的信度检测方法。　第四，内在一致性信度指一套测试卷不同部分的测试　成绩的一致性程度。＿２　通过对学生同一能力的检测，能客观　地反映他们的真实语言水平。检测内在一致性信度高低与　众多的试题是否测试同一心理特质有关，也就是说，所有试　题得分之间是否反映了较高特质的相同程度。　综上所述，信度是评价成绩测试的一个重要指标，不同　的信度代表不同的意义，不同的信度证据之间是不能相互　代替的。根据信度研究的目的、各种不同类型信度的意义　和用途，计算信度系数的方法和公式各有不同，主要有折半　法、复本法、重测法和内在一致性考验法。如果了解了相关　信度类型的定义，其检测方法也很容易掌握。　效度是另一个成绩测量质量的指标。效度的验证需要　考察试卷的内容、被测成绩、所测试卷的结构等，确定命题　者想要测量的内容和能力是否得到检测。效度是针对一定　测量目的、测量结果而言的。在效度分析中，效标的确定非　常重要。而效标又称效度标准，即足以显示测验所要测量　或预测的特质的独立量表，作为检测效度的参照标准。它　不注重检测内容或结构，而是衡量一个测试是否有效的外　在的、客观的标准。效度可分为结构效度、内容效度、表面　效度、效标关联效度等。ｌ４　第一，内容效度指测试题目样本对于应测内容与实际　水平的代表性程度。也就是说测验的内容范围、材料与所　要测量的试卷的属性的明确反映，测验的结果是否具有代　表性。旨在系统地检查测量同期效度、预期效度、表面效度　等，对题型、记分体制进行全面的研究检验。就是指试卷题　目能否体现所要达到的各项教学目标和涵盖教学内容所要　求的程度。内容效度最能反映出成绩测试的效度指标，反　映出学生对于大学英语这门学科知识和技能的掌握程度，　所以内容效度多用于成绩测试中。内容效度通常采用如下　验证方法：（１）逻辑分析法。它是指由专家对测试试卷的所　有题目进行分析，按考试内容分布和考试目标分布进行双　向分类，由专家对其效度做出判断。专家依据教材内容、教　材大纲的范围以及教学目标的分析测试内容，检查测试内　容究竟在体现教材内容和教学目标方面达到多大程度。专　维普资讯 http://www.cqvip.com

家对每一道题目进行审查，以确定试卷的效度。（２）量化分　析法。专家在仔细审验试卷的基础上，独立地对测试题目　间属性不同，但又相互制约。成绩测试的信度说明考试结　果与语言行为的关系，成绩测试的效度反映所测试的语言　行为与语言能力的关系。没有信度意味着成绩测试的结果　做出判断，用实际测到的量表示相关的内容效度，得出内容　效度的系数，数值越大表示内容效度越高。弥补了逻辑分　析法缺乏数量指标定论的不足。（３）统计分析法。指不同　评分者之间评分的一致性程度，考查评分者信度。　第二，效标关联效度也称实证效度或统计效度，即以检　测分数和效度标准之间的相关系数来表示测验的效度之高　低。它能够帮助教师决定他们在多大程度上信任基于成绩　对学生的水平所作的推论，效标关联效度普遍应用于成绩　不可信，而信度高的测试并不意味着其效度就高，没有效度　只有信度的测试也毫无意义，因为我们无法从考试结果中　推测出学生真正的语言能力。要实现一个语言测试的目　的，信度和效度缺一不可，但二者既是同一体又是对立体。　信度指测试结果的前后一致性程度，强调成绩测试中语言　的科学性，将语言进行分割处理，注重测试题目的同质性。　嗷度是对测试结果准确性的估计，注重成绩测试中语言的　测试中。根据效标资料获得的时间不同和测验使用目的的　不同，效标关联效度又可分为同时效度和预测效度两种。　同时效度指测验分数与效标资料的取得约在同一时间内连　续完成，这两种资料的相关系数即为同时效度。预测效度　指测验分数在一段时间后才获得效标资料，计算这两种资　料间的相关系数。效标关联效度可用以下方法进行估计：　（１）相关法。计算测试分数与效标测量的相关系数的方法　叫相关法。（２）区分法也叫显著差异法。根据效标测量被　试分为两个极端组，检验这两个组测验分数是否具有统计　学上的差异显著性。（３）命中率。当测验用作取舍决策时，　常使用命中率这一指标。产生的相关概念有总命中率、正　命中率、负命中率。总命中率高，说明测验的效度高。　第三，结构效度也称观念效度或理论基础效度，是指测　试是否以有效的语言观和语言学习观为理论根据，检测对　于人的假设属性或理论概念测量到的程度，设计测量用的　试题。这些假设属性或理论概念是决定人们对外部行为内　隐或潜在的特性。　它所支配的行为本身不能直接观察到，　而且也无法直接测量到，这种特性不能予以操作性的定义。　结构效度建立一般包括四个步骤：第一，从理论框架出发，　提出各种假设；第二，根据假设，设计测量用的试题；第三，　以逻辑及实证的方法，检验结果是否符合提出的理论框架　及其假设；第四，不断修正提出的理论框架及其假设，直到　测验的结构效度获得支持为止。　在成绩测试中，结构效度证据收集方法有三种：干预　法、不同群组法和相关测验法。干预法的基本假设是，在接　受了某种形式的干预之后，学生在评价中的表现就会有所　改变。如，教师在编写完测试题后，给学生一定的训练，学　生的成绩得到了提高，这就为测验的结构效度提供了证据。　不同群组法，是假设在构想概念上表现不同的人群，其测验　分数也应该有所不同。如果这个假设得到了证实，那么就　证明了结构的测验效度。相关测验法，如果两个测验测量　的是同一结构，其分数应该具有某种程度的相关。这个相　关值越大，我们依据测验作结论就越可靠。无论运用何种　方法，需要收集的效度证据和构想概念的程度成正比。　三、参照信度和效度的有机关系，建构　科学而合理的成绩测试试题　信度与效度是检测成绩测试的重要标准，它Ｃｆ￣－－者之　整体性、艺术性，测试题目的多样性，测试的内容和形式接　近语言运用的实际。测试自身并不具有效度，它只是用来　推断学生语言知识能力和水平的一种工具。只有采用能产　生良好反拨效应的测试题，才能使成绩测试的信度和效度　达到极高。　有质量的成绩测试命题应该经过严格的命题流程，而　不是信手拈来一些试题，构成缺乏一定覆盖率且无意义的　题堆。试卷的设计既要考虑语言技能怎么考、考什么，又要　考虑保持评分的一致性。前者涉及到了考试的效度，后者　涉及到了考试的信度。　测试题目是测试的基本构成元素。根据考试的目的和　要求，准确掌握成绩测试的测试功能和命题方法，正确地选　择题型，才能设计出科学的、合理的英语成绩测试卷。试题　设计一般要经过“命题——初审——预测试卷的预期目标　——试题项目分析——审题——构成试卷——实施考试　——确定评定标准——阅卷及统计分析——建立题库”等　环节。任何一个环节都应经过信度和效度的检验，并且要　有一定的检验数据的支持，才能保证试题设计的质量。成　绩测试越来越趋向于语言实际运用能力的测试。作为院级　统一的大规模的考试，成绩测试对学生影响重大，是有一定　的目标性和任务性的活动。保证命题的科学性，评分的一　致性，组织的严密性，成绩的可比性和可解释性，会对教学　产生促进作用，使测试更好地为提高大学英语教学质量服　务，为提高学生实际应用英语能力这一根本目的服务。　建构一套科学的、合理的、有理论依据的、有数据支持　的、高效度、高信度的成绩测试试题模式，命题方式都有一　定的要求和原则。成绩测试应该注重把考试和教学完美地　结合在一起，测量学生听、说、读、写的整体技能，并能分别　测试出各单项技能。　笔者以为常见的几种命题模式在一定程度上能够对大　学英语教学起到评估作用，但在信度和效度方面尚有不足，　建立和开发大学英语大型考试题库，应根据各级院校英语　教育的实际情况，建立具有自己院校特色的大学英语考试　体系，把学生语言知识与语言能力的全面发展作为评价的　主导思想。四、六级考试是面向全国的大规模考试，为了阅　卷的统一，评分的客观、公正，标准化的测试题型占主导地　位，而成绩测试就不必拘泥于它的模式，而应考虑测试对英　语教学产生的反拨作用。否则，高度结构化的客观试题，每　１６１　维普资讯 http://www.cqvip.com

次只能测到一个语言成分或一项语言技能。　测试中，客观　题和主观题是两种常见的题型。客观题趋向于标准化题　型，由于使用便捷、评分客观，信度高，它在测试中占主导地　位，但它不利于检测学生语言应用能力，有一定的局限性。　命题者越来越强调英语测试的准确性和有效性，减少主观　题，保证题型的多样化，考核学生的语言应用能力，保证测　试的信度和效度。　听力理解部分是测试学生听说能力的一种方法，测试　的内容和形式应力求贴近真实生活的语言情景，从而有效　地考查学生运用语言的实际能力。一般的听力测试包括听　题型。　建构科学的、合理的成绩测试卷，应该把握以下命题原　则：（１）严格按照教学大纲和教学实际命题，突出学生综合　语言运用能力的原则。（２）注重测试的信度、效度，突出语　言测试中的可实践性原则。（３）命题过程中，要时刻把握测　试对教学的正面反拨作用。（４）尽可能地发挥学生所长，体　现学生个性化的发展，使学生产生成就感。（５）不同的题型　应相对独立，测试内容不应有重复，造成测试内容过于　单一。　总之，评分标准是教学评估全面量化，公正衡量教师教　学效果和学生学习结果的标尺。主观题的答案自由性、灵　活性较客观题要大得多，能够测试学生实际运用英语的能　力，客观地反映学生实际英语水平，所以，它的评分难度就　力对话、听力短文两部分，以客观题为主。命题时，首先，应　考虑加大成绩测试中听力理解的题量和比例，其次，变换多　种题型，不是单纯地以选择题的形式出现。如：根据语境补　充对话，填写单词等，对听力理解能力提出更高的要求。　阅读理解部分直接测试学生运用语言知识分析问题和　解决问题的综合能力，以篇章阅读理解为主。反映了学生　对句子、语篇、判断推理、快速阅读能力的测试，但是题型仅　采用选择题，过于单一。多设想一些测试学生实践能力和　创新能力的阅读理解题型，如：是非判断题、填空题、概括总　结题，保证试卷产生正面的反拨效应。　词语和语法结构题，以客观选择题为主，它只能测试学　生的识别能力和语言知识，而比较复杂的语言运用能力和　会提升，人们普遍使用的评分方法有：印象评分法，分解评　分法，综合评分法，等级评分法等。要达到较高的评估信度　和效度，使主观题的评分标准摆脱主观因素而客观化，统计　学原理和数据库技术能够提高评分的可操作性，帮助制定　合理的评分标准，克服评卷中的主观随意性、片面性。这就　需要教师掌握相关的知识和技术，实施科学的、适用性强的　评分方法。　参考文献：　交际能力，则很难通过这种题型直接测试，并很难产生良好　的反拨效应。这种题型可少出或不出。可利用语境和相关　信息采用填词、补全单词和语法结构等形式。　完形填空与阅读理解题型，命题性质有近似之处，要求　学生应用语言知识、语篇理解知识答题。完形测试题在四、　六级考试中，具有很高的信度和效度，是一种值得保留的较　理想的题型，但在成绩测试中应考虑各种综合题型的应用。　翻译题和作文毋庸置疑是一组实践性极强的题型，学　生无法识别和猜测测试项目，考察了学生运用语言知识和　［１］张绍杰．教、考分离——大学英语四、六级考试改革的　必由之路［Ｊ］．外语教学与研究，２００３，（５）．　【２］Ｌｙｌｅ　Ｆ．Ｂａｃｈｍａｎ．Ｆｕｎｄａｍｅｍａ／Ｃｏｎｓｉｄｅｒａｔｉｏｎｓ　ｉｎ己四　ｚ蝇　Ｔｅｓｔｉｎｇ［Ｍ］．上海：上海外语教育出版社，２００１．　１３］ＭｃＮｍｎａｒａ，Ｔ．Ｔ．Ｍｅａｓｕｒｉｇ　Ｓｅｎｃｏｎｄ　Ｌａｎｇｕａｇｅ　Ｐｅｒｆｏｒｍａｎｃｅ　［Ｍ］．１ｏｎｄｏｎ：ｏｎ￣ｍａｌｎ．　［４］汪先锋，倪建乐．从信度和效度的相互关系看语言测试　的取向［Ｊ］．山东外语教学，２００Ｏ，（３）．　［５］韩宝成．语言测试的新进展：基于任务的语言测试［Ｊ］．　外语教学与研究，２００３，（５）．　技能的真实水平。但测试应摆脱固有的模式，测试题型亦　多样化，比重应加大，测试内容的辐射面应广。当然，成绩　测试中，还有其它待开发的题型，需要教师加强测试理论和　实践的研究，集思广益不断地挖掘出产生良好后效的测试　［６］刘　冰．语言测试术语及其运用［Ｊ］．高师英语教学与研　究，２００３，（２）．　（责任编辑：粟世来）　Ｏｎ　Ｒｅｌｉａｂｉｌｉｔｙ　Ａｎｄ　Ｖａｌｉｄｉｔｙ　ｉｎ　Ａｃｈｉｅｖｅｍｅｎｔ　Ｔｅｓｔ　ＺＨＡ０　Ｑｉ—ｊｕａｎ，ＺＨＡ０　Ｑｉ—ｓｈｕｎ　（Ｃｏｌｌｅｇｅ　ｏｆ　叫　愕ｚ　，Ｑｆ　Ｎａｔｉｏｎａｌｉｔｉｅｓ　Ｃｏｌｌｅｇｅ，Ｘｉｎｉｎｇ，Ｑ／ｇ￣，ｎ／８１０００７，Ｃｈ／ｎａ）　Ａｂｓｔｒａｃｔ：Ａｃｈｉｅｖｅｍｅｎｔ　ｔｅｓｔ　ｉｓ　ａｌｌ　ａｂｓｏｌｕｔｅｌｙ　ｎｅｃｅｓｓａｒｙ　ｌｉｎｋ　ｉｎ　ｃｏｌｌｅｇｅ　Ｅｎｇｌｉｓｈ　ｔｅａｃｈｉｎｇ．Ｉｔ　ｉｓ　ａ　ｎｌｅａｎｓ　ｔｏ　ｔｅｓｔ　ｔｈｅ　ｅｆｆｅｃｔ　ｏｆ　ｈｅ　ｓｔｔｕｄｅｎｔｓ’ｌｅａｒｎｉｎｇ　ａｎｄ　ｔｈｅ　ｔｅａｃｈｅｒｓ’ｔａｃｈｉｅｎｇ．Ｒｅｌｉｂｉａｌｉｔｙ　ａｎｄ　ｖａｌｉｄｉｙ　ａｒｔｅ　ｔｈｅ　ｍｏｓｔ　ｉｍｐｏｒｔａｎｔ　ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ　ｉｎ　ｔｈｅ　ｍｅａｓｕｒｅｍｅｎｔ　ｏｆ　ａｃｈｉｅｖｅｍｅｎｔ　ｔｅｓｔ．Ｔｈｅ　ｉｎｖｅｓｔｉｇａｔｉｏｎ　ｏｆ　ｒｅｌｉｂｉａｌｉｙ　ｔｎｄ　ａｖａｌｉｄｉｙｔ　ｉｎｖｏｌｖｅｓ　ｈｅｔ　ｒｅｓｅａｒｃｈ　ｐｕｒｐｏｓｅ　ｎｄ　ａｈｅ　ｔｃｏｎ—　ｔｅｎｔ．Ｔｏ　ｋｎｏｗ　ｈｅｓｔｅ，ｔｈｅ　ｏｂｊｅｃｔ，ｆａｉｒ，ｓｃｉｅｎｔｉｉｆｃ　ａｎｄ　ｖａｌｕａｂｌｅ　ｔｅｓｔ　ｐａｐｅｒ　ｃａｎ　ｂｅ　ｄｅｓｉｇｎｅｄ　ａｎｄ　ｉｔ　ｉｓ　ｈｅｌｐｆｕｌ　ｔｏ　ｉｍｐｒｏｖｅ　ｔｈｅ　ｔｅｓｔ　ｅｖａｌｕａｔｉｏｎ　ｓｙｓｔｅｍ．　Ｋｅｙ　ｗｏｒｄｓ：ａｃｈｉｅｖｅｍｅｎｔ　ｔｓｔ；ｒｅｅｌｉｂｉａｌｉｙ；ｖａｔｌｉｄｉｙ　ｔ１６２