实验设计评价讲稿.ppt

实验设计评价第一页，讲稿共十八页哦一、实验设计的评价 Determining The Reliability and Validity of Determining The Reliability and Validity of A ResearchA Research第二页，讲稿共十八页哦心理实验设计3研究的信度与效度研究的信度研究的信度A measuring instrument is perfectly reliable if we get exactly the same result when we repeat the measurement a number of times.Formally determining reliability is particularly important when the dependent variable is the score from a test instrument such as a test of achievement,aptitude,or personality traits.Test-retest reliabilityAlternative-form reliabilitySplit-half reliability第三页，讲稿共十八页哦心理实验设计4研究的效度研究的效度指研究真实、正确地揭示所研究问题的本质及指研究真实、正确地揭示所研究问题的本质及其规律的程度，即结果符合客观实际的程度。其规律的程度，即结果符合客观实际的程度。Validity refers to whether we are measuring what we want to measure.第四页，讲稿共十八页哦心理实验设计5研究信度与效度的关系：研究信度与效度的关系：信度是效度的基础，效度是信度的目的。提高信度是效度的基础，效度是信度的目的。提高效度必然以提高信度为前提。效度必然以提高信度为前提。效度是评价研究设计和结果的根本标准效度是评价研究设计和结果的根本标准。第五页，讲稿共十八页哦心理实验设计6效度的类型效度的类型（Cook&Campbell,1979）构思效度构思效度（construct validity）：也称建构效度、也称建构效度、构念效度、结构效度构念效度、结构效度 内部效度内部效度（internal validity）统计结论效度统计结论效度（statistic-conclusion validity）外部效度外部效度（external validity）对一项研究来说，首先要考虑的是内部效度，而后对一项研究来说，首先要考虑的是内部效度，而后对一项研究来说，首先要考虑的是内部效度，而后对一项研究来说，首先要考虑的是内部效度，而后就是外部效度，其他两种效度相对次要。就是外部效度，其他两种效度相对次要。就是外部效度，其他两种效度相对次要。就是外部效度，其他两种效度相对次要。第六页，讲稿共十八页哦心理实验设计7内部效度内部效度内部效度是指在研究的自变量与因变量之间存在关系的内部效度是指在研究的自变量与因变量之间存在关系的明确程度，即保证因变量的变化确系由特定的自变量所明确程度，即保证因变量的变化确系由特定的自变量所引起，而不是其它的外部变量。引起，而不是其它的外部变量。影响内部效度的因素影响内部效度的因素成熟因素成熟因素历史因素历史因素被试选择差异被试选择差异被试的缺失被试的缺失前测效应前测效应第七页，讲稿共十八页哦心理实验设计8接上页接上页实验处理的扩散效应实验处理的扩散效应统计回归效应统计回归效应多种研究条件与因素间的交互作用多种研究条件与因素间的交互作用第八页，讲稿共十八页哦心理实验设计9外部效度外部效度外部效度是指研究结果的代表性和适用性；涉及研究结论的一般化问外部效度是指研究结果的代表性和适用性；涉及研究结论的一般化问题。题。总体的一般化总体的一般化实验结果应用到不同于原始研究的、范围更广实验结果应用到不同于原始研究的、范围更广的其他群体或被试中。的其他群体或被试中。（总体效度）（总体效度）情境的一般化情境的一般化实验结果应用到不同于原始研究的情境或环境实验结果应用到不同于原始研究的情境或环境中。中。（生态效度）（生态效度）时间的一般化时间的一般化实验结果应用到不同于原始研究的时期。实验结果应用到不同于原始研究的时期。（时间效度）（时间效度）影响外部效度的因素影响外部效度的因素实验环境的人为性：反应性情境实验环境的人为性：反应性情境测量工具的局限性测量工具的局限性第九页，讲稿共十八页哦心理实验设计10接上页交互作用：实验处理与实验持续时间的交互作交互作用：实验处理与实验持续时间的交互作用、实验处理与测量时间的交互作用以及选择用、实验处理与测量时间的交互作用以及选择与自变量之间的交互作用，等。与自变量之间的交互作用，等。多重实验处理的干扰多重实验处理的干扰对测量的敏感化对测量的敏感化样本的代表性不足样本的代表性不足第十页，讲稿共十八页哦心理实验设计11成熟成熟、历史历史选选择、择、流失流失测量测量、设备、设备处理扩散处理扩散统计统计回归回归交互作用交互作用研究的效度统计结论效度统计结论效度统计结论效度统计结论效度内部内部内部内部效度效度效度效度构思构思构思构思效度效度效度效度人为环境人为环境工具局限工具局限交互作用交互作用多重处理多重处理敏感化敏感化样本代表性低样本代表性低概念模糊概念模糊逻辑混乱逻辑混乱构思水平混淆构思水平混淆实验者效应实验者效应被试反应性被试反应性外外外外部部部部效度效度效度效度对内对内对内对内部部部部效度效度效度效度的威胁的威胁的威胁的威胁对对对对构思构思构思构思效度效度效度效度的威胁的威胁的威胁的威胁对外对外对外对外部部部部效度效度效度效度的威胁的威胁的威胁的威胁对对对对统计结论统计结论统计结论统计结论效度效度效度效度的威胁的威胁的威胁的威胁数据质量差数据质量差违反统计检验假设违反统计检验假设统计功效低统计功效低第十一页，讲稿共十八页哦二、如何选择合适的实验设计Choose a type of experimental design becomingly第十二页，讲稿共十八页哦心理实验设计13良好实验设计的标准良好实验设计的标准能满足理论框架的要求，能恰当地回答要能满足理论框架的要求，能恰当地回答要研究的问题，这主要是通过巧妙的实验构研究的问题，这主要是通过巧妙的实验构思完成的；思完成的；能使同样一批数据给出较多地信息，这依能使同样一批数据给出较多地信息，这依赖于实验者能按照统计分析的要求收集数赖于实验者能按照统计分析的要求收集数据；据；能提供实验的高信度，即实验的可重复性，能提供实验的高信度，即实验的可重复性，这主要是通过较好地控制无关变量而达到这主要是通过较好地控制无关变量而达到的；的；第十三页，讲稿共十八页哦心理实验设计14续上页能提供实验的高效度，即研究结果反映客能提供实验的高效度，即研究结果反映客观现实的程度，这是通过增加实验设计的观现实的程度，这是通过增加实验设计的复杂程度来实现的；复杂程度来实现的；能提高实验的敏感性，即能探索一些深入能提高实验的敏感性，即能探索一些深入的、细微的、难以通过日常观察或经验察的、细微的、难以通过日常观察或经验察觉到的现象，这主要是通过选择合适的实觉到的现象，这主要是通过选择合适的实验设计完成的；验设计完成的；尽量在实施上是经济、省力、可行的。尽量在实施上是经济、省力、可行的。第十四页，讲稿共十八页哦心理实验设计15选择合适的实验设计选择合适的实验设计根据研究问题的根据研究问题的复杂程度复杂程度选择实验设计；选择实验设计；根据对实验结果的根据对实验结果的精度精度的要求来选择实验的要求来选择实验设计；设计；根据实验实施的根据实验实施的可行性可行性选择实验设计；选择实验设计；第十五页，讲稿共十八页哦心理实验设计16问题复杂性问题复杂性单因素设计单因素设计：简单易行，但外部效度和研究的效率简单易行，但外部效度和研究的效率偏低，不适合研究复杂的心理教育问题。偏低，不适合研究复杂的心理教育问题。因素设计因素设计：能同时考察多个因素之间的相互影响、能同时考察多个因素之间的相互影响、相互制约的关系，适合研究复杂的理论和现实问相互制约的关系，适合研究复杂的理论和现实问题；问题越复杂，实验设计的因素就越多。但因题；问题越复杂，实验设计的因素就越多。但因素的多少并非任意，过多的因素会带来数据分析素的多少并非任意，过多的因素会带来数据分析和推论解释的困难。和推论解释的困难。系列研究系列研究：将众多因素分散在一系列研究中分别予以将众多因素分散在一系列研究中分别予以考察。考察。第十六页，讲稿共十八页哦心理实验设计17研究精度研究精度研究精度的要求越高，对实验设计敏感性研究精度的要求越高，对实验设计敏感性的要求也越高。的要求也越高。提高设计敏感性的途径：提高设计敏感性的途径：提高设计提高设计敏感性敏感性减小实验减小实验误差误差分离无关分离无关变异变异拉丁方设计拉丁方设计区组设计区组设计重复测量重复测量设计设计分离特定额外变量分离特定额外变量分离被试个别差异分离被试个别差异前提假设前提假设前提假设前提假设第十七页，讲稿共十八页哦心理实验设计18可行性可行性变量特性：变量特性：被试间自变量被试间自变量性别、年龄、职业等被试变量性别、年龄、职业等被试变量被试内或被试间自变量被试内或被试间自变量操作任务、环境特征操作任务、环境特征最低样本数量最低样本数量（以（以23设计、每个处理设计、每个处理4名被试为例）名被试为例）完全随机设计完全随机设计=npq=423=24随即区组设计随即区组设计=npq=423=12重复测量设计重复测量设计=n=4混合设计混合设计=np=42=8第十八页，讲稿共十八页哦