评估与测量的基本方法.pptx

第三章 评估与测量的基本方法,Fundamental Approaches to Psychological Assessment and Measurement,张畅芯,言语听觉康复科学系言语听觉科学教育部重点实验室,2015-04-16,内容概述,第一节 测量与测验的基本问题第二节 测验的编制第三节 项目分析第四节 常模及分数的解释第五节 测验的选择与使用,信度与效度,效 度,效度(validity)，又叫做准确性，是指一个测验能够测量到所要测量的心理特质的程度。效度反映调查问卷能否代表设计者的意图，即问卷能否有效地测量各项变量、达到鉴别，评价，预测的目的。效度的种类包括内容效度、效标关联效度、构想效度。,内容效度,内容效度（Content validity）是指测验中的题目对所要测量的整个内容领域的代表程度。内容效度高的测验应该具备的条件所要测量的内容领域界定要明确测验中的题目应该是所测内容领域的代表性样本，而不是随机取样的样本内容效度表面效度,内容效度,检验内容效度的方法对所要测量的内容范围进行明确的界定，这是确保测验具有较高内容效度所必须具备的条件之一。编制双向细目表，把代表性取样的要求用双向细目表的形式体现出来。分析测验中的每一道题，看它测量了双向细目表中的哪一个方面内容。如果二者的吻合程度高，就表明测验的内容效度高，反之，则表明测验的内容效度低。写出鉴定报告，说明测验所包含的各类题目的数量及分数比例，以及它对所要测量的内容领域的覆盖率如何。内容效度的检验方法主要为逻辑分析法。虽然有人曾做过其他的尝试，但是到目前为止，还没有一种成熟的统计方法可以用于估计测验的内容效度。内容效度主要适用于评价成就测验的质量。,效标关联效度,效标关联效度（criterion-related validity）又叫做实证效度，是指一个测验对处于特定情境中的个体的行为进行诊断或预测时的有效程度。效标关联效度越高，测验对某些行为的诊断或预测就越准确。要诊断或要预测的行为称为效标（criterion），测验与效标之间的关联程度即为效标关联效度，简称为效标效度。用来预测个体未来某个行为的测验叫预测源。根据效标资料收集的时间不同分为同时效度：实施测验的同时收集效标资料预测效度：实施测验一段时间之后收集效标资料预测效度被关注的程度远超过同时效度。,如何确定效标？,观念效标是指以一种抽象概念存在于头脑中的效标。例如，一个人在音乐事业上成功或失败。效标测量提现观念效标的具体指标。例如，一个人参加音乐比赛的获奖情况。常见的效标测量有其他标准化测验的分数。例如：韦克斯勒儿童智力量表、瑞文标准推理测验、斯坦福一比内智力量表、Conner儿童行为问卷、AAMR适应行为量表、卡特尔16种人格因素问卷等测验的分数。,常见的效标测量,其他标准化测验的分数。韦克斯勒儿童智力量表、瑞文标准推理测验、斯坦福一比内智力量表、Conner儿童行为问卷、AAMR适应行为量表、卡特尔16种人格因素问卷等测验的分数。学习成绩教师评定专门的训练成绩实际的生活状况或工作表现,选择效标的注意事项,效标测量本身必须是有效的，即效标测量必须能真正地反映观念效标。效标测量还必须具有较高的信度效标测量必须排除主观偏见的影响,效标效度的计算方法,计算测验分数与效标分数之间的相关系数。当效标和测验分数都是正态连续变量时，用积差相关；当效标是等级评定时，要用斯皮尔曼等级相关公式；当效标是二分变量（如分为合格和不合格两类）时，要用二列相关或点二列相关公式；当预测源和效标都是二分变量时，要用相关。例如：2003年10月15日测验编制者给22名小学六年级学生实施了一项智力测验，半年后收集他们的数学毕业考试的成绩作为效标，两次测验的结果如下表，试计算智力测验对数学毕业考试成绩的预测效度。,效标效度的计算方法,效度系数表明了预测源与效标的相关程度。如果效度系数高，则表明预测源与效标之间的相关很高。也就是说，在预测源上得分高的人，在效标测量上分数也高，在预测源上得分低的人，在效标上分数也低。测验编制及使用者可以根据效度系数来评价和选择测验。一般来说，所求得的相关系数至少要达到统计上的显著性水平。,构想效度,构想效度（construct validity）是指一个测验测量到它要测量的心理特质的程度。例如，有人编制了一个适应行为量表，要检验它的构想效度，他首先要系统地分析适应行为的组成结构，确定共包括几个维度，每一维度会表现出哪些行为，然后从这些行为中抽取一个样本组成量表。如果对适应行为的结构分析合理，所测量的行为与各维度有内在的关联性，行为的取样有代表性，那么，这个量表就测量了它要测量的特质，即构想效度高，反之，这个量表的构想效度就很低。,检验构想效度的方法,逻辑验证法例如，几乎所有的智力理论都认为儿童的智力会随着年龄的增长而增长，据此推论，年龄大的受测者在测验上的平均得分应该比年龄小的受测者高。考察测验的内部一致性一般来说，如果测验的题目都测量了同一特质，各题目的分数会比较一致，即内部一致性比较高：如果测量了多个特质，各题目的分数会参差不齐，内部一致性会比较低。计算相关系数相容效度会聚效度与区分效度因素分析法,构想效度的应用与评价,适用于评价某些假定具有的心理属性或特质的测验，例如智力测验、能力倾向测验、个性测验。局限性：首先，许多构想概念缺乏一致的定义，因此，不同的人对同一个测验会做出不同的评价其次，构想效度的检验方法种类繁多，选择上没有统一的标准。,提高信度和效度的方法,适当增加题量注意编题的方式和方法目的要明确，所编的题目应与测量目的相符。题意要清楚，题目中尽量避免使用生僻的词汇和复杂句型。题目的难度要适当，取样必须具有代表性。控制各种环境因素的影响安排适宜的测验环境主试的仪表和言行要得当调节好受测者的身心状态选择恰当的检验方法,提高信度和效度的方法,检验信度时应当注意：估算稳定性系数时，测验所测量的特质不能随时间的变化而变化。估算分半信度系数时，怎样把测验分成对等的两半十分重要。在检验效度时应当注意：检验内容效度时，专家组成员必须具有权威性和代表性。检验效标关联效度时，必须选择适当的效标。由于测效度通常用预测源与效标分数之间的相关来衡量，二者相隔时间的长短也会影响效度系数，所以，在分析测验的预测效度时，不仅要看效度系数的大小，还要看该系数反映是多长一段时间内的有效性。,