Voy a contaros lo fundamental de mi intervención del pasado 23 de noviembre, en la 5ª Jornada de difusión científica que organizó el Instituto de Ingeniería del Conocimiento en el campus de la Universidad Autónoma de Madrid. Comenzaré presentándome, ya que es la primera vez que escribo en este blog.
Soy Vicente Ponsoda, catedrático de Psicometría en la Universidad Autónoma de Madrid. Nuestro campo de trabajo es el estudio de los modelos estadísticos que permiten elaborar test, interpretar sus puntuaciones y conocer la calidad del test y de sus preguntas. Cuando respondemos a un test recibimos una o más puntuaciones que indican nuestro nivel de conocimientos, de responsabilidad… Para extraer de las respuestas al test esas puntuaciones hace falta aplicar los modelos estadísticos citados.
Soluciones online para identificar talento
El objetivo de mi presentación (Soluciones online para la identificación del talento y la mejora profesional) fue mostrar algunas investigaciones recientes que pueden dar resultados transferibles de interés a los profesionales de la evaluación psicológica. Me referí a nuestro trabajo en tres áreas: los test adaptativos informatizados, la generación automática de ítems y los ítems ipsativos.
Voy a hacer una breve introducción a las tres áreas, aunque estoy considerando comentar en futuros post estos y otros tipos de test. Un test adaptativo informatizado es un test administrado por ordenador que presenta a cada persona las preguntas que son realmente útiles para determinar cuánto sabe, sus competencias, liderazgo, motivación… En un test de vocabulario inglés, por ejemplo, si la persona sabe mucho, no le va a preguntar por la traducción de “dog”, pero sí le puede presentar ese ítem a un evaluando que sepa muy poco.
El test presenta ítems distintos a personas distintas. Estos test empezaron a emplearse en la evaluación educativa hace años y mi impresión es que están poco a poco entrando en el campo de los Recursos Humanos. En el último congreso de la Society for Industrial and Organizational Psychology, celebrado en Atlanta (USA) en este mes de abril, varias ponentes mencionaron estos test al hablar de las innovaciones en la evaluación. Su principal ventaja es su eficiencia: necesitan muchos menos ítems que los test tradicionales para dar medidas con la misma calidad.
La generación automática de items
La segunda área tiene que ver con la generación automática de ítems. En un ítem hay características que afectan a su dificultad y otras que no. Por ejemplo, en un test de operaciones algebraicas, el ítem “3+2” debe tener una dificultad similar al ítem “5+4”.
Los dos son más fáciles que el ítem “(1+8)/3”, que requiere además de la suma, resolver un paréntesis y un cociente. En generación automática de ítems, cuando encontramos las características que determinan la dificultad, podemos saber la dificultad que corresponde a los dos patrones “x+y” y “(x+y)/z”.
Después, generamos los ítems concretos cambiando en el patrón las características que no alteran la dificultad. Los dos primeros ítems serían clones del primer patrón y el tercero, del segundo. Su principal ventaja es que permite conseguir bancos de ítems mayores. En algunos casos, inagotables.
Ítems Ipsativos
Hace dos años el Ministerio de Ciencia e Innovación nos financió un proyecto para estudiar los ítems ipsativos, que acaba a finales de 2011.
En un ítem normativo típico, la persona ha de indicar, en una escala de 1 (nada) a 5 (mucho), cómo de bien le describe un adjetivo (por ejemplo, “prudente”). En un ítem ipsativo, se le presentan dos adjetivos (por ejemplo, “prudente” y “tolerante”) y ha de decirnos cuál de los dos le describe mejor.
Es bien conocido que los candidatos a un puesto de trabajo suelen falsean sus respuestas a los ítems normativos cuando piensan que si son sinceros no les van a contratar.
Un ítem ipsativo presenta dos adjetivos de similar deseabilidad y evita así el falseamiento. Estamos desarrollando estrategias que nos proporcionen las medidas de la personalidad de los candidatos que responden a ítems ipsativos.
En la 5ª Jornada mostré nuestros primeros resultados. Mi impresión es que vamos por buen camino, aunque con algunos problemas que nos van a tener entretenidos unos cuantos meses.
Gracias Vicente por el post y por tu explicación en la jornada. Desde mi punto de vista es muy importante hacer llegar a la sociedad que estais haciendo un trabajo duro y serio para progresar-mejorar en un aspecto tan crítico por sus consecuencias como es la valoración de las personas. Una reflexión para el debate que me surge es la siguiente. Hemos avanzado mucho en los modelos psicométricos (como acertadamente mostraste) sin embargo en terminos evaluativos la innovación no se agota en nuevos modelos para ser aplicados a métodos de evaluación tradicionales. ¿Para cuándo un mayor acercamiento entre la psicometría y el desarrollador de nuevos tipos de test?