Como Eugenia trabaja con tus contenidos: Método RAG y LLMs

Jorge Freire Serrano

Jorge Freire Serrano

· 4 min read
rag

¿Cómo genera Eugenia tus respuestas y por qué están basadas en el contenido de tus colecciones?

El funcionamiento de la IA generativa se apoya en los LLMs (Large Language Models). Estos son los que permiten a Eugenia y otras IAs generar respuestas a las preguntas de sus usuarios. Hoy existen diversos modelos, tanto privados como open source. Hemos desarrollado Eugenia de manera que puede utilizar distintos LLMs, como Llama 3, Claude 3, Sonnet, GPT-4, Mistral Instruct…, para optimizar su funcionamiento en función de la eficacia y los costes para diferentes casos de uso. Es decir, si por ejemplo una institución quisiera integrar Eugenia dentro de su infraestructura tecnológica para asistir a los docentes en la creación de contenidos educativos y otras tareas, se podrían valorar las capacidades y costes de cada modelo para elegir el que más se adecue a las necesidades de dicha institución.

Por otro lado, la mera existencia de un LLM no posibilita que Eugenia genere conocimiento a partir de tus documentos. Esto se consigue mediante un método conocido como RAG (Retrieval Augmented Generation) que posibilita, mediante distintos cargadores para cada tipo de documento, que tus colecciones sean leídas por Eugenia. Explicándolo de forma muy básica, el método RAG obliga a Eugenia a buscar en tus contenidos la respuesta a tus preguntas. Es decir, Eugenia no “aprende” los contenidos que añades ni estos pasan a formar parte de los datos que posee el LLM, sino que Eugenia accede a ellos cuando genera una respuesta, en un proceso similar al que realizarías leyendo un libro en el que buscas la información necesaria para realizar una tarea.

Una de las mayores ventajas de aplicar RAG para personalizar un LLM es el aumento de fiabilidad. Supongamos que quieres que la IA te explique una ley concreta. Si le preguntas a una IA con un conocimiento genérico, esta podría equivocarse o inventarse la respuesta si no se la conoce, suceso que se conoce como alucinación. En cambio, si añades un documento en el que se trate dicha ley y, mediante la aplicación del método RAG, se lo proporcionas a la IA, esta será mucho más precisa y fiable, dado que sacará los datos directamente del documento proporcionado, en lugar de buscarlos en tus datos de entrenamiento o en internet.

Desde Éutika queremos mejorar al máximo la fiabilidad de Eugenia, dado que a nadie le interesa obtener respuestas inventadas o erróneas. Para ello, hemos diseñado Eugenia de manera que esta responda a nuestras peticiones de forma robusta, basándose únicamente en los contenidos proporcionados en las colecciones y no en contenido obtenido de otras fuentes, como pueden ser contenidos genéricos disponibles en internet. Esto quiere decir que, para que Eugenia pueda contestarte, es necesario que añadas contenidos a una colección y, en ningún caso, obtendrás una respuesta proveniente de contenidos ajenos a la misma.

En resumen, Eugenia combina el poder de los LLM y el método RAG para proporcionarte una IA generativa que te da respuestas basadas exclusivamente en el contenido que le proporcionas. Esto mejora su fiabilidad y precisión, impidiendo que se invente las respuestas que desconozca y utilizando directamente tus contenidos para resolver tus dudas, proporcionarte resúmenes u otros documentos derivados.