验证定义
从最广泛的意义上说,确认是指确定某些判断、决定或解释的真实性、准确性或合理性的过程。在工业心理学和组织心理学中,验证通常侧重于从心理测试和其他评估程序中得出的解释的质量,这些测试和评估程序被用作有关人们工作生活的决定的基础。在具体讨论验证之前,有必要澄清一些概念,这些概念对于基于心理测试的决策过程是不可或缺的。
定义验证的焦点
重要的是要认识到有效性不是测试或评估程序的特征,而是由测试或评估信息作出的推论和决定。验证是生成和累积证据以支持在特定情况下推断的声音的过程。因此,要检查验证概念,重要的是指定(a)应用评估情况和(b)可用于支持这种推论的证据的性质的推论类型。不同的验证策略反映了不同的方式来聚集和检查支持这些重要推断的证据。
应用的心理评估涉及一系列专业活动。这些活动的一般特征包括以下步骤:(a)分析工作环境以确定(b)构成绩效域的重要任务和组织行为(以及后续结果),然后指导(c)选择或开发某些评估程序(预测因子),这使得(d)预测评估方面将表现出重要行为的可能性,然后使用一些操作标准测量来测量单独的工作行为。此过程意味着一个概念框架,其如图1所示。
该框架包括以下推论:
- 推论1。对工作设置的分析产生了对性能的准确描述。
- 推论2。通过预测器重叠的构造域与性能域重叠。
- 推论3.。预测因子是相关心理构建域的足够样本。
- 推论4.。预测器分数与操作准则测量有关。
- 推论5.。操作标准从性能域采取充分的样本。
- 推论6.。预测器与性能领域相关。
对工作设置的分析产生了期望性能或性能域的概念。性能域是组织特别重视的工作活动和结果的集群。基于心理评估的选择决策代表着试图识别工作行为中的规律性——但仅仅是那些被组织识别为与目标实现相关的行为。因此,人员选择是识别和映射行为预测器样本的过程,以有效地与绩效领域重叠。效度可以被描述为预测器样本与表现领域有意义的重叠的程度。
验证是生成证据表明从评估信息中汲取的推断是准确的。推理6是应用决策中的梯形推断,因为它代表了特定的评估过程是否会产生可能预测重要组织结果的信息。推理6无法直接测试,因为它将预测值测量链接到具有理想工作行为的假想域的性能域。然而,推理6在框架中的闭合逻辑循环中绑定到框架中的其他推论,因此这些其他推论在验证中发挥作用。如果可以用足够的证据证实某些推论(将在下一部分中讨论),则通过暗示引起推断6。为了另一种方式,验证是生成支持推论6的证据的过程,这涉及支持框架中的其他推论。
当然,许多特定形式的推理6可能发生在给定的决策情况下,并且每个所需的证据可以差异。例如,明尼苏达州多相人格库存(MMPI)可以向警察候选人管理,以预测谁更有可能在工作中拥有反核趋势。这种形式的推理6需要不同的有效性证据,而不是如果MMPI用于预测谁可能会在工作中欺骗焦虑的可能性。无论所做的决定的具体性质如何,有三种普遍的方法都会产生有效性证据,并且在每种方法中,有特定的策略来产生和解释这一证据。
验证的三种一般方法
有三种广泛的有效性证据,通常标记有关的标准相关,基于构造和基于内容的策略。这款有效性术语的TRILOGY首先是在1954年美国心理学协会,美国教育研究协会,美国教育研究协会和国家测量委员会发表的心理测试和诊断技术的技术建议中阐述了。这个三部曲可以用作三个产生有效证据的广泛策略。
标准相关的验证策略
证明推论6的一种一般方法是生成直接的实证证据,即预测器得分与工作表现的精确测量有关。推论4代表了这种联系,由于测试-表现关系的量化指标的吸引力,这种联系历来受到选择心理学家的特别实用主义关注。任何给定的决策情况都可能使用多个预测器和多个标准度量,因此可以指定许多关系。
标准相关效度证据最常见的形式是相关效度证据。这种类型的证据是由统计相关的预测分数与标准分数。预测因子-准则相关系数的大小和方向是预测因子与准则之间关系的统计指标。然而,只有当标准度量充分利用相关性能域时,这种相关性才支持推断6。要完全相信推论6的有效性,必须证明推论4和推论5的正确性。对图1的检查显示,验证推论4和5意味着验证推论6,因为它们完成了一个封闭的逻辑循环。
与标准相关的效度证据通常是相关的,因为选择决策通常是基于不受实验操纵的个体差异。这些证据通常是通过并发验证研究从当前员工中收集的,或者通过预测验证研究从求职者中收集的,并且在收集预测器和标准数据方面存在许多具体的方法变化。生成与推论4和5相关的经验数据的其他策略包括实验和准实验研究。例如,确定在某些预测特征上可能存在差异的特定申请人群体,然后确定是否存在有意义的标准差异,是经典相关性研究的替代方法。一些预测特征可以在现场或实验室实验中进行操纵,本研究还可以提供标准相关的效度证据。
基于构建的验证策略
传统上由标签构造有效性暗示的选型心理学家与推断2和3相关联。可以假设如果是
推论2和推论3可以得到可靠证据的支持,然后人们就可以自信地相信推论6是正确的——同样,因为它们形成了一个封闭的逻辑循环。如果可以证明一个测试测量了一个特定的心理结构(推论3),而这个心理结构被确定为对工作绩效至关重要(推论2),那么从测试分数得出的关于工作绩效的推论(推论6)在逻辑上是合理的。当然,在任何给定的决策情境中,多种心理结构可能被认为是表现的基础(推理2的变体),随后可能被评估(推理3的变体),而每一种都需要有效性证据。
选择心理学家如何支持推论2和3?支持推论3的证据主要采用经验证明的关系和判断的形式,这些关系和判断在本质上是收敛的和有区别的。收敛
例如,存在证据,例如,当(a)预测测量器分数与相同构建体的其他测试中的分数相关时,(b)从焦点构建的人们不同的人的预测器分数也不同于其他可预测的方式,或(c)预测测定分数与理论上有关的其他构建体的测试有关的分数。当预测测量分数与理论上独立结构的测试不相关的评分时,存在判别证据。发展和研究心理构建措施的过程,然后改善他们,以确保他们正在衡量我们认为他们正在衡量的构建体,这是一个科学过程,是个体差异的心理理论的发展核心。
因为它连接了两个假设的行为领域,推理2不能被实证检验,至少不能以实际行为测量的形式。相反,对表现领域和心理构造领域的知情判断是必需的。推理2必须在积累的关于表现领域和心理建构领域之间关系的科学知识的基础上进行理论和逻辑上的论证。将这两者联系起来的一个共同基础是系统的工作分析或能力建模,它以知识、技能、能力和工作绩效所需的其他结构的形式产生工作规范。
推论2涉及将工作行为转换为心理构建条款。这通常以相对非结构化的方式进行,依靠工作分析师对绩效领域 - 心理构建关系的定性判断。
然而,一些工作分析和能力建模方法明确地构建了性能域中行为的规范和与心理构建域的重叠。无论如何证实推断2,该过程被视为专业和科学上可信的程度,以及是否伴随了推理3的声音证据,增强了推理6的有效性。
基于内容的验证策略
第三种原理推理6的一般方法涉及证明预测的样本行为,其具有构成性能域的行为的同性。当一个人意识到预测镜试验总是行为样本时,这种推理尤其可防止,从中推断出在工作中的行为。采样的行为可能是不同的(例如,从RORERCHACH INKBLOT测试的分数)或类似(例如,从工作样本模拟测试的分数)到所预测的工作行为。如果申请人作为评估阶段的一部分执行行为,则在性能域中的行为非常类似于行为,那么逻辑推断6更好地是合理的。这一推理系列利益是传统上标记含量的证据类型。已经提出了分析预测器和标准之间同构程度的具体程序,但是每个基本逻辑下面都是这样的。
相关的有效证据涉及通过检查预测器直接对性能域采样的方式进行证明6。这里,预测器被检查为来自性能域的样品,而不是来自底层心理构建结构域的样品。As in statistical sampling theory, if a predictor sample is constructed in congruence with certain principles (e.g., ensuring representativeness as well as relevance of the sample), one can assume that scores from that sample will accurately estimate the universe from which the sample is drawn. Therefore, when a selection psychologist can rationally defend the strategy for sampling the performance domain used in a given testing situation, content validity evidence supports the inference that scores from the test are valid for predicting future performance (i.e., Inference 6).
基于内容的验证的逻辑假设是,如果一个求职者在评估阶段执行了期望的行为,他或她可以在工作中执行这些行为。当然,当我们考虑到在这种情况下人类动机的复杂性时,许多预测困难就会出现。一个人能在一种情况下做出行为的证据并不一定意味着他或她会在特定的工作环境中做出这些行为。尽管存在这些复杂性,但与预测器领域是否直接映射到性能领域相关的判断和数据是基于内容的验证策略的核心。
存在许多特定方法以指导关于行为域重叠的判断。这些方法中的一些涉及具有主题专家系统地检查性能域并单独评估每个预测元素与性能域相关的程度。这种结构化和定量的基于内容的方法可以产生关于预测器是否可能预测性能的可信证据。
验证策略作为预测者开发过程
到目前为止,已经讨论了基于构建,基于内容的和标准相关证据的概念作为可用于证明决策有效性的一般策略。但是,在决策过程中可以追溯三个差异之间的影响。通过这样做,可以更清楚地欣赏他们的差异。
选择决策包括两个基本阶段:(a)构建预测器作为某个行为领域的样本;(b)利用这些行为信息对未来的工作行为进行预测。后一个数据合并阶段是就业决定的直接前兆,因此受到了相当多的法律和专业审查。然而,涉及到指定行为数据库的数据收集阶段,对有效性有着同样重要的影响。
为了简要审查图1,任何人员选择系统的开发都以相关性能域的划分开头。从这种划分的理想的工作行为和结果,选择心理学家确定应该被预测器采样哪些构建域。绩效域中有三条路线以预测者开发:基于构建体的方法涉及识别与性能域(推理2)显着重叠的心理构建域,然后开发充分采样这些构造域(推理3)的预测器。基于内容的方法涉及开发直接采样性能域的预测器。该标准相关方法涉及在性能域(推理5)中开发一些行为的一些操作措施,然后识别或开发与操作标准测量(推理4)相关的预测器。当然,所有这些都取决于性能域已经描绘的准确性(推理1)。
标准相关方法与其他两种方法之间存在根本差异。标准措施仅仅是性能域的操作样本。预测器标准关系必须由心理构造的操作或对性能域中的行为的采样产生。从这个角度来看,基于构造和基于内容的方法代表了两个基本的预测因子采样策略。基于构造的意味着通过唤起心理构建域来引导预测器采样。基于内容的意味着通过唤起性能域来指导预测器采样。在某种程度上,两个域的得出不同,并且两者之间的关系不满足,基于构建和基于内容的方法可能导致预测的预测和决策有效性的实质性差异。与基于构建和内容的方法相比,标准相关的方法是最合适的,作为经验评估两种基本预测策略策略的质量的一般研究策略。有效性的判断是关于行为采样的充分性的判断(构建和内容的基础)或这种充分性的直接经验指标(标准相关)。
验证就业决策
回想一下,验证是生成和积累证据的过程,以支持在特定情况下做出的推论的合理性。本文讨论了三种收集证据的一般方法,以及它们的相对优缺点。单独讨论这些策略的便利不应该掩盖一个非常重要的观点:有效性是一个单一的概念。心理测试信息的具体决定或使用要么有效要么无效,与效度决定相关的证据有不同的形式。
与法院案件中的被告的内疚或无罪相比,决定的有效性可以合理。审判开始时,我们一般不知道被告是否有罪或无辜。该试验展开作为在调查期间提出收集证据的论坛。一些证据是直接的,非常引人注目的,而其他证据是间接和对怀疑的态度。一些律师更能够沟通证据,陪审团或多或少能够掌握证据的复杂性。验证相似于此表征。我们很少知道是否有一个选择决策(从特定的评估过程中派生)在制作时是有效的。但是,我们可以预测需要证明决策过程的证明,因此我们调查各种形式,直接和间接的情况,以支持有效性的案子。最终,我们的验证努力由判断其信誉和认为这一进程的人们审查,以获得足够有效。
结论
验证,作为一个生成和检查证据的系统过程,是科学研究和理论发展的本质,其目标是更充分地理解和解释人类在工作环境中的功能。一种有效性证据并不比其他证据具有内在的优越性。从这个角度来看,所有的有效性证据都可能与决定决策质量有关。恰当地进行验证是指能够全面生成关于构成当前框架的所有推理联系的可信信息,并将适当的注意力集中在预测器内容、心理结构和经验性证明的关系上。
参考:
- Binning,J.F.,&Barrett,G. V.(1989)。人事决策的有效性:对推论和证据基础的概念分析。应用心理学杂志,74,478-494。
- Cronbach,L. J.(1988)。有效性论证的五个视角。在H. Wainer&H. Braun(EDS)中,测试有效性(第34-35页)。Hillsdale,NJ:Lawrence Erlbaum。
- Cronbach,L.J.,&Meehl,P. E.(1955)。构建心理测试的有效性。心理公报,52,281-302。
- 平等就业机会委员会。(1978)。员工选择程序统一指南。联邦登记册,43(166),38295-38309。
- 圭恩(1998)。人员决策的评估、测量和预测。新泽西州莫沃:劳伦斯·埃尔鲍姆。
- Hoffman,C.C.,Holden,L. M.,&Gale,K。(2000)。这么多的工作,这么小的“n”:应用扩展的验证模型来支持认知测试有效性的概括。人事心理学,53,955-992。
- 法律,C. H.(1975)。内容效度的定量方法。人事心理学,28,563-575。
- Lubinski,D。(2000)。评估个体差异的科学和社会意义:几个关键点下沉轴。心理学年度审查,51,405-444。
- 梅西克,美国(1981年)。教育与心理测量的建构及其变迁。美国心理学家,89,575-588。
- Messick,S.(1995)。心理评估的有效性:验证人们的反应和表演的推论,分为科学探究。美国心理学家,50,741-749。Nunnally,J. C.,&Bernstein,I. H.(1994)。心理学理论(第3 ED。)。纽约:麦格劳山。
- Sussmann,M.,&Robertson,D. U.(1986)。有效性的有效性:验证研究设计分析。应用心理学杂志,71,461-468。