A pesar de que el desarrollo de test adaptativos informatizados y su teoría fundamental, la teoría de la respuesta a los ítems, hayan supuesto una extraordinaria innovación técnica en el ámbito psicométrico, es realmente escasa la atención que entre los profesionales de Recursos Humanos han despertado.

En la base de este desconocimiento probablemente esté el hecho de que la dificultad matemática que entraña es superior a la de las pruebas de evaluación de personas construidas bajo los supuestos de la teoría clásica de test. Sin embargo, empeñados en acercar esta innovación al campo aplicado y, en concreto, a las organizaciones, vamos con una explicación sencilla que nos permita acercarnos a su realidad. Más allá de las dificultades, estas pruebas permiten una evaluación más precisa, eficiente y personalizada en la selección de personal.

¿Qué son los test adaptativos informatizados?

La idea fundamental de un test adaptativo informatizado (Computerized Adaptive Test, CAT, en inglés) es que, en función del nivel de habilidad (de rasgo) en la variable que se quiere medir con el test, cada evaluado recibe un conjunto de ítems o preguntas diferentes. Es decir, en lugar de presentar todas las preguntas en un orden predeterminado, el test utiliza un algoritmo para seleccionar las preguntas que son más informativas respecto del nivel del evaluado, el cual se va estimando progresivamente con las respuestas que da a cada ítem. Esto permite una evaluación más eficiente y precisa de las habilidades del individuo, ya que el test se ajusta dinámicamente a su nivel de habilidad mientras lo está realizando.

Con un ejemplo se entiende mejor. En un test de inglés, no tiene sentido que le administremos un ítem que es muy fácil a un candidato que tiene muy alto nivel de inglés. Y no tiene sentido porque ya sabemos qué va a suceder con la respuesta del candidato: va a acertar. De igual forma, tampoco tiene sentido que le administremos un ítem muy difícil a una persona que tiene muy bajo nivel de inglés, ya que también sabemos lo que probablemente ocurra: que lo falle. Y si sabemos previamente la respuesta del candidato, ¿para qué preguntarle? La cuestión está en hacer preguntas que realmente nos ayudan a discriminar el nivel del evaluado.

¿Cómo funciona un test adaptativo? Algunas claves

La primera pregunta que uno puede hacerse al aplicar un test adaptativo es: ¿cómo sabemos el nivel previo que tiene el evaluado?

Una opción sería preguntárselo al comienzo de la prueba, pero el camino más habitual es empezar el test con un ítem de dificultad media. La clave es que, con la respuesta a ese ítem, ya se realiza una primera estimación del nivel del evaluado. Con esa primera estimación, se puede buscar y administrar el ítem que sea más informativo para ese nivel, y se vuelve a estimar el nivel del evaluado.

Estas primeras estimaciones son imprecisas, ya que están soportadas en la respuesta a pocos ítems, pero conforme el procedimiento avanza, se vuelven cada vez más robustas y, con muchos menos ítems, se llega a conclusiones similares.

Así pues, estas serían algunas claves importantes para la aplicación de test adaptativos informatizados:

• No todos los evaluados reciben el mismo “test”.
• Diferenciamos entre “banco de ítems” (el conjunto total de los ítems que tenemos para evaluar el constructo objetivo, que normalmente es muy superior al de cualquier escala) y “test” (que es el subconjunto específico de ítems que utilizamos para evaluar a una persona concreta en un momento dado).
• El elemento en el que se basa todo el procedimiento es el ítem, ya que, en función de la dificultad del ítem y de su discriminación, se utiliza o no para un caso concreto.
• Que el elemento fundamental sea el ítem tiene también que ver con cómo se calcula la fiabilidad de las estimaciones. En el procedimiento habitual de la teoría clásica de test, la fiabilidad tiene que ver con la escala utilizada y, por tanto, se asume que esa fiabilidad es igual para todas las mediciones realizadas. No obstante, bien sabemos que no es así, sino que en función de los ítems que componen la escala, la fiabilidad de las mediciones puede ser más alta para los niveles altos o para los bajos, pero no igual en todo el continuo del nivel de habilidad. En los test adaptativos, sin embargo, la fiabilidad de la estimación del nivel de habilidad se obtiene en función de los ítems específicos que se utilizan y, de hecho, un procedimiento habitual suele ser administrar ítems hasta que se logra una fiabilidad pre-establecida.

Ventajas y requisitos de los CATs

Un primer argumento a favor de la utilización de test adaptativos informatizados es precisamente su capacidad para lidiar con la fiabilidad de las medidas de manera más efectiva que con los test tradicionales. Además, una segunda ventaja está relacionada con la experiencia del evaluado. Esta se ve mejorada por dos aspectos fundamentales: se pueden obtener mediciones igualmente fiables con menor tiempo de evaluación y el evaluado recibe ítems significativos para su nivel, lo que proporciona una sensación de no perder el tiempo con ítems muy fáciles y evita la frustración con ítems muy difíciles.

En tercer lugar, en un contexto en el que las evaluaciones masivas y sin control directo a través de internet se ha convertido en una práctica habitual, los CATs, al utilizar bancos de ítems y administraciones diferentes para cada evaluado, suelen comprometer menos la seguridad del test que en los planteamientos clásicos, en los que se exponen todos los ítems para todos los casos.

Por otro lado, hay que considerar que los CATs son más caros de construir que una escala clásica. Se necesita un volumen muestral normalmente muy amplio y unos profesionales con una capacitación psicométrica avanzada. Además, si alguien todavía anda con lápiz y papel, debe tener en cuenta que no es posible realizar este procedimiento sin una administración informatizada.

Test adaptativos informatizados disponibles para selección de personal

Como decíamos al inicio, hasta donde llega nuestro conocimiento, no hay una amplia distribución de test adaptativos informatizados. En el Instituto de Ingeniería del Conocimiento (IIC) desarrollamos eCat en 2003, un test adaptativo para la evaluación del nivel de inglés que se incluye en nuestro sistema de evaluación de competencias eValue. Hasta hace poco, TEA ediciones también comercializaba TRASI para la evaluación del razonamiento secuencial e inductivo, pero una consulta reciente en su web muestra que está descatalogado. Efectivamente, poco se habla de test adaptativos y los pocos que hay se descatalogan.

Sin embargo, hay esperanza. Como decíamos antes, los CATs están basados en la teoría de la respuesta a los ítems, a la que actualmente se están realizando interesantes aportaciones con la “generación automática de ítems”, además de la construcción y puntuación de test ipsativos de la que hablaremos en otro post.