Análisis de la claridad de los textos

En su apuesta por una comunicación clara y transparente, el Ayuntamiento de Madrid quería mejorar sus respuestas a las solicitudes de la ciudadanía, a través de la plataforma que les ofrece para consultar dudas, exponer sus quejas o sugerencias.

Para ello, decidió primero analizar la calidad de las respuestas ya emitidas y, en concreto, evaluar dos aspectos: la claridad y la personalización de los textos.

Con esta información, y con la colaboración técnica del Instituto de Ingeniería del Conocimiento (IIC), se buscaba desarrollar sendos modelos de Machine Learning que determinaran automáticamente si un texto era claro y/o estaba personalizado, y mejorar así las nuevas comunicaciones.

1. El Ayuntamiento de Madrid proporcionó un corpus de más de 180.000 pares de solicitud-respuesta, que hubo que limpiar y ordenar para analizarlos en términos de claridad y personalización, y que sirvieran de ejemplo a los modelos.

2. Los expertos del IIC establecieron distintas métricas lingüísticas que evaluaran la calidad de estos. En concreto, se utilizaron 9 indicadores para medir la claridad y 5 indicadores para medir la personalización. Cada texto obtuvo una puntuación por cada métrica, así como una puntuación global.

3. Los textos de las respuestas y sus puntuaciones sirvieron para entrenar los modelos de aprendizaje automático. El objetivo era que estos fueran capaces de predecir el nivel de claridad y personalización de las respuestas nuevas. Una vez entrenados, el mejor modelo de claridad consiguió un acierto del 99,8% ante textos nuevos, mientras que el modelo de personalización alcanzó el 100% de acierto.

4. Además, el Ayuntamiento de Madrid tiene a su disposición una API, donde puede hacer uso de los modelos predictivos para analizar sus futuras comunicaciones.

En general, el proyecto sirvió al Ayuntamiento de Madrid para identificar sus áreas de mejora y optimizar su comunicación con la ciudadanía. Y es que conocer la calidad de sus respuestas les permitirá mejorarlas y, en consecuencia, conseguir un servicio más rápido, claro y eficiente para los ciudadanos y para el propio personal del consistorio.

En cuanto a los resultados, las respuestas del Ayuntamiento eran claras y personalizadas en algunos aspectos, pero debían mejorar en otros.

Con este fin, además del desarrollo de los modelos predictivos y el informe técnico, el IIC elaboró una Guía de comunicación clara y personalizada en la que se recogen recomendaciones y consejos para que el Ayuntamiento los aplique a sus futuras comunicaciones.

También se ha encargado de la difusión del proyecto Prodigioso Volcán, cuyo equipo de comunicación ha elaborado una infografía y un documento divulgativo que se pueden consultar.