El pasado 5 de junio se volvió a celebrar el mayor evento de AWS dedicado a la nube, el AWS Summit Madrid, donde decenas de miles de miembros de la comunidad tecnológica y de negocio se reúnen para compartir casos de éxito y profundizar en el conocimiento del cloud.

En el Instituto de Ingeniería del Conocimiento (IIC) no quisimos perder la oportunidad de participar en este gran evento y dimos una charla sobre sistemas de RAG desplegados en AWS, en el marco del tema de moda: la inteligencia artificial generativa.  Además, algunos de los equipos técnicos y de negocio acudimos para aprender las estrategias innovadoras que están desplegando otras compañías y los desafíos a los que se están enfrentando.

La IA generativa, protagonista del AWS Summit Madrid

Como no podía ser de otra manera, en un año en el que la IA generativa está en boca de todo el mundo, también fue el tema principal del AWS Summit Madrid. La mayoría de las ponencias a las que asistimos versaron sobre los grandes modelos de lenguaje generativos, tanto de texto como multimodales, cuyas capacidades han mejorado sensacionalmente en los últimos meses y empiezan a ser puestos en producción.

Algunos de las conclusiones más relevantes que nos llevamos del evento fueron:

• La importancia de “the human in the loop”, es decir, incluir siempre humanos que verifiquen aquellas predicciones hechas por la IA de las que no se esté muy seguro. En el IIC siempre hemos tenido muy presente la componente humana y contamos con un amplio equipo de lingüistas computacionales que supervisan y evalúan la calidad de nuestras soluciones basadas en IA generativa.
• AWS ha hecho una apuesta por los servicios que hacen más accesible la IA generativa. En primer lugar, Bedrock, un servicio creado en 2023 que sirve modelos de terceros a través de una API común, y, por otra parte, Sagemaker, que a través de Sagemaker Inference Endpoints permite desplegar de manera sencilla modelos propios u open source.

Desplegando sistemas de RAG en AWS

Desde el IIC, tuvimos la oportunidad de impartir una charla en la que Álvaro Barbero, Chief Data Scientist, y Sergio Gil, Data Scientist, compartimos nuestra experiencia desplegando chatbots en AWS. Como ya destacamos en un post anterior sobre sistemas de RAG, en el IIC queremos ayudar a otras empresas a explotar todo el potencial de la IA generativa. Para ello, hemos diseñado un sistema de RAG propio que resuelve infinidad de casos de uso, el cual desplegamos fácilmente en AWS.

Para desplegar nuestro sistema de RAG en AWS empleamos diversos servicios: Bedrock o Sagemaker para alojar el modelo generativo, S3 para almacenar los documentos con los que el usuario puede mantener una conversación y EKS para desplegar un clúster de Kubernetes dentro del cual correrán los microservicios que componen la solución, la cual se consume a través de una sencilla API.

Durante la charla hicimos hincapié en que usar grandes modelos fundacionales generalistas no siempre es la solución. A veces, nuestro caso de uso es lo suficientemente específico como para que un modelo mucho más pequeño especializado en resolver muy bien una tarea concreta (resumir, responder preguntas provenientes de un documento, etc.) sea una solución más eficiente y eficaz.