En los últimos años, los modelos de inteligencia artificial generativa han ganado popularidad por su capacidad de producir texto de manera natural y coherente. Sin embargo, cuando se trata de tareas y aplicaciones de comprensión del lenguaje natural (Natural Language Understanding, NLU) en dominios especializados, los modelos basados en Enconders pueden ser una alternativa más eficiente y rentable.

Un ejemplo es MEL (Modelo de Español Legal), un modelo de lenguaje especializado en textos jurídicos en español. Ha sido desarrollado en el marco de INESData, proyecto coordinado por la Universidad Politécnica de Madrid (UPM) y en cuya vertical legal-administrativa ha colaborado el Instituto de Ingeniería del Conocimiento (IIC). En este post, repasamos las ventajas y primeros resultados de este modelo.

MEL vs. Modelo de lenguaje generativo

MEL se basa en el modelo XLM-RoBERTa-large y ha sido preentrenado con documentos oficiales como el Boletín Oficial del Estado (BOE) y textos del Congreso. Ya puesto a prueba, los resultados que apuntamos más abajo permiten considerar que los modelos de comprensión del lenguaje ofrecen beneficios frente a los modelos de generación en algunos casos:

1. Eficiencia computacional en inferencia: Los modelos generativos requieren mayores recursos de cómputo y memoria. Mientras que MEL puede ejecutarse con hardware estándar, modelos como GPT-4 o Llama 2 exigen GPUs avanzadas y un consumo considerable de energía para lograr tareas similares.
2. Precisión en tareas complejas: En el ámbito del Procesamiento de Lenguaje Natural, la extracción de información precisa es fundamental. MEL, gracias a su preentrenamiento con textos legales, supera a los modelos generativos en tareas complejas de clasificación de textos o span categorization.
3. Costes operativos: Implementar un modelo generativo para cada consulta puede resultar costoso en términos computacionales y financieros. MEL, en cambio, está altamente optimizado para ejecutarse con menor carga computacional, reduciendo significativamente los costes de producción sin sacrificar precisión.
4. Privacidad y seguridad: Muchas entidades que manejan información legal o sensible no pueden depender de servicios en la nube donde se ejecutan modelos generativos comerciales. MEL permite una implementación local, garantizando el control sobre los datos y el cumplimiento de normativas de privacidad.

Resultados y validación de MEL con textos legales

Los primeros resultados de MEL y la comparativa con otros modelos ya están recogidos en un primer artículo científico: MEL: Legal Spanish Language Model. Las pruebas con textos legales han demostrado que supera a modelos como XLM-RoBERTa-large, Legal-XLM-RoBERTa-Large y RoBERTalex en benchmarks de tareas de comprensión del lenguaje en español.

En el conjunto de datos Multieurlex, sobre leyes europeas, MEL alcanzó un rendimiento o F1 máximo de 0.8025, superando a modelos como Legal-XLM-RoBERTa-Large (0.7933) y RoBERTalex (0.7890). Además, en la evaluación de clasificación multiclase sobre un corpus privado de textos legales, MEL logró un F1 de 0.9260, mientras que Legal-XLM-RoBERTa-Large obtuvo un F1 de 0.8935, XLM-RoBERTa-Large alcanzó 0.9103 y RoBERTalex quedó en 0.7007.

Todo esto evidencia la capacidad de MEL para realizar predicciones precisas sobre los textos. Adicionalmente, el modelo mostró una mayor velocidad de aprendizaje, alcanzando resultados óptimos en menos épocas de entrenamiento en comparación con otros modelos evaluados. Esto indica que MEL es capaz de captar las particularidades del lenguaje jurídico español de manera más eficiente desde las primeras iteraciones.

En conclusión, si bien los modelos generativos son valiosos para generar texto, son costosos para la puesta en producción y en ocasiones inestables en los resultados, sobre todo si se habla de tareas de comprensión como la clasificación de textos o la extracción de información. Desde el IIC, creemos que los modelos del lenguaje como MEL son una alternativa mucho más eficiente para estas tareas.

¡Te ayudamos, escríbenos!