许多工作情况要求工作现任作出判断局势方面,并响应实际情况。对情况的实际需求的有效响应可能需要适当地使用一种人的能力和其他个人属性的组合。情境判断测试(SJT)是精神测试的测试,专门用于评估这种整体判断或对各种情况响应的整体能力的个体差异。
情境判断测试通常以纸张和铅笔模式管理,尽管它们可以以其他模式实现,例如基于视频的项目和面试问题。SJT由几种情况组成,每种情况,每个情况都提出假设的危急事件和几个行动方案,以应对情况。教学和响应格式取决于特定的SJT。在许多SJTS中,受访者需要对五分效率规模的每个可能的行动评级或表明所提供替代方案中的最佳和最差行动。在其他SJT中,受访者被要求根据他们通过的可能性来评估每个可能的行动,或者表明他们最有可能和最不可能的行动所提供的行动。
情境判断测验的开发
Most modern versions of SJTs derive from the work of Stephen Motowidlo and his colleagues, which builds on Robert Sternberg’s concept of tacit knowledge (i.e., job-relevant knowledge needed to accomplish everyday tasks that are usually not openly stated or part of any formal instruction) and improves the measurement of the concept by using job analyses to identify the types of judgments made on a specific job and to improve their content and face validity. The development process usually involves the identification of a set of work-related constructs that are targeted in an SJT. Job incumbents are asked to generate critical incidents or situations that require ability or expertise related to these constructs. Other job incumbents provide a set of possible actions that could be taken to resolve or improve the situations, and a third group, usually subject-matter experts, provide effectiveness ratings of each solution and judgments about the best and worst of the solutions. These ratings and judgments are analyzed and used to develop a final item and scoring key that is applied to the items. (Detailed examples of the SJT development process are provided in the references listed in References.)
可能是由于测试发展过程中与工作相关的特点,研究表明,与其他类型的就业测试,如认知能力和性格测试相比,受访者往往对sjt有更有利的看法,因为他们认为测试与工作环境相关,在预测工作表现方面是有效的。除了关于sjt的表面效度的证据,越来越多的证据表明sjt可以产生大量的零阶和增量的标准相关效度。然而,与拥有大量文献和大型数据库的认知能力和人格测量方法不同,sjt的实证证据远没有建立起来,sjt的理论或概念基础也没有被理解。
与情境判决测试的标准相关有效性
Michael McDaniel和他的同事对SJTs的标准相关效度进行了元分析,发现102个效度系数的平均观察效度为0.26,当校正标准不信度后,这个数字增加到0.34。然而,在这个总体值的系数中存在大量无法解释的变异性(55%),这表明SJT的有效性可能受到许多变量的调节。调节因子分析表明,作为工作分析结果的测量比那些不基于工作分析的测量产生更大的效度系数,但其他调节变量分析的结果是不确定的,因为在调节变量形成的一个或多个研究组中,研究数量少或总样本量小。
自Motowidlo等人重新对SJT方法产生兴趣以来,对从事多种工作的员工进行的几项主要研究产生的效度与McDaniel等人报告的平均效度相似。此外,一些研究发现,sjt比认知能力、个性、工作知识和经验测量产生效度增加(在预测工作绩效方面)。
在预测性能预测性能方面的标准相关有效性似乎很好。虽然SJT似乎与认知能力有关,并且在一些研究中,对于个性措施,在多项研究中据报道,在人格和高于人格和认知能力的增量有效性。相关性可能导致相关性的显着变化,因为根据SJT上包括的情况的类型测量不同的构建体。当情况需要基于认知的构建体,例如规划,组织能力和分析问题解决,SJT分数与认知能力测试分数相比,与需要与人际关系或领导技能相关的构造的情况相比,这是基于更有个性的情况。
构建情境判断测试的有效性
与关于第SJT标准相关有效性的新出现证据形成鲜明对比,关于SJTS构建有效性的研究是在其初期的阶段。关于SJT的大部分研究没有明确旨在检查由SJTS评估的构建体的性质,因此可以是迄今为止可用的构建有效性证据是间接的。底层SJT的构建可能与适应性,上下文工作知识和实践智能的概念有关,但测试构建体的确切性质与SJT项目的特定内容无密不可分。
对SJT项目进行因子分析的努力通常会对研究人员曾纳入其物品的先验因素产生很少的支持。这些分析中的第一因素通常会占第二因素方差的两到三倍,但除非秤包括大量项目,否则内部一致性(系数alpha)可靠性通常很低。这些结果的一个解释是,对具有其变化选项的单个SJT项目的响应可能是各种单独差异构造的结果,包括能力和激励或人格构造。这与实证发现一致,表明SJT与各种变量相关,包括认知能力和人格性状。
鉴于SJT的性质和现存的研究结果,SJTS不太可能测量任何单一的单层构建体,即使使用整体SJT得分可能是合法的,也可能是代表情境判断的复合(多方面)能力或有效性。与采访和许多纸张和铅笔测试一样,SJT可能会更好地解释为一种测量方法,可以适应测量不同情况下的各种与工作相关的结构。然而,某些类型的情境判断构建体在典型的SJT中几乎固有地评估。也就是说,SJT可以被解释为测试测量范围的测试方法。
像面试一样,SJT有主导的构造(尽管它们与面试方法中的那些不同的是不同的,但很容易或几乎固有地评估。主要显性构造包括适应性构造,其可能通过以前的经验和上下文知识构造的各种差异性状和获取,并且可以通过现实世界的经验获得。统称,这些SJT主导结构可以由全球构造称为实用智能的全球构造。然而,与面试不同,SJT主导构造与SJT的结构格式无关(即,候选人出现问题情况,然后要求生成,赞同或评估一系列响应选项)。相反,主导结构与典型SJT的测试含量的核心特征相关联。
这些构建有效性问题的细节超出了本条目的范围。Interested readers may refer to works by David Chan and Neal Schmitt (1997, 2002, 2005), which elaborate three distinct but interrelated core characteristics of SJT content (i.e., practical situational demands, multidimensionality of situational response, and criterion-correspondent sampling of situations and response options in test content development) and relate them to SJT performance as well as job performance.
有关SJT的面临有效性和标准相关的有效性的新的证据,而且缺乏直接解决构建有效性的基本问题的研究。对SJT的构建有效性的研究可以有助于确定SJT标准相关有效性的边界条件。此类研究还将澄清SJT构建,并提高我们对SJT响应的性质及其与工作性能和其他工作相关变量的关系的理解。
引用:
- Chan,D.,&Schmitt,N.(1997)。基于视频的与情境判断测试评估的与纸张和铅笔方法:测试性能和面部有效性感知的子组差异。应用心理学杂志,82,143-159。
- 陈德华,&施密特,N.(2002)。情境判断和工作绩效。人类表现,15,233 -254。
- 陈,D,和施密特,N.(2005)。情境判断测试。A. Evers, O. Smit-Voskuijl, & N. Anderson (Eds.),人事选择手册(219-242页)。英国牛津大学:布莱克威尔
- Mcdaniel,M.A.,Morgeson,F.P.,Finnegan,E. B.,Campion,M. A.,Braverman,E.P.(2001)。使用情境判断试验预测工作表现:澄清文献。应用心理学杂志,80,730-740。
- Motowidlo,S.J.,Dunnette,M. D.,&Carter,G. W.(1990)。另一种选择过程:低保真仿真。应用心理学杂志,75,640-647。
- 每周,J.A.,&Jones,C。(1999)。进一步研究情境测试。人事心理学,52,679-700。