Evalúe todo el recorrido desde la pregunta
La generación aumentada por recuperación combina la búsqueda documental con una respuesta redactada por un modelo. Una demostración convincente con pocas preguntas no demuestra cómo gestionará una política obsoleta, versiones contradictorias, contenido restringido o una pregunta sin respuesta en el corpus. La fluidez por sí sola es una medida insuficiente. La documentación de evaluadores de RAG de Microsoft separa la calidad de recuperación, la fundamentación en el contexto y la relevancia de la respuesta. Es un marco útil, pero los criterios de aceptación deben corresponder a las decisiones reales que tomarán los empleados.
Defina primero el propósito del servicio. Un asistente para localizar procedimientos internos tiene un riesgo distinto de una herramienta que propone una posición con consecuencias jurídicas. Determine qué puede recomendar, cuándo debe mostrar una fuente y cuándo debe remitir a una persona. Asigne responsable a cada clase de documentos y a su actualización. Sin ese contexto, la evaluación produce cifras que no indican si el sistema es seguro para el uso previsto. Documente el coste de una respuesta convincente pero incorrecta antes de fijar umbrales.
Construya pruebas basadas en el trabajo real
Recopile preguntas nacidas de necesidades auténticas, en vez de convertir títulos de documentos en consultas artificiales. Incluya hechos sencillos, cuestiones que requieren varios documentos, sinónimos, erratas, nombres ambiguos y los idiomas que utiliza el personal. Para cada pregunta especifique el tipo de respuesta esperado, las fuentes admisibles y si la respuesta no consta en el corpus. Añada casos temporales: procedimientos anteriores junto a los nuevos, normas con fecha de entrada en vigor y reglas retiradas. Sin ellos, el sistema puede parecer preciso mientras cita contenido inválido.
Pruebe los límites de permisos por separado. Formule la misma pregunta con distintas funciones y verifique que el texto restringido no aparezca en el contexto recuperado, la cita ni la respuesta. Incluya preguntas ajenas al tema, formulaciones engañosas y documentos con instrucciones dirigidas al modelo. El contenido encontrado es información, no una autoridad sobre el asistente. OWASP describe este tipo de ataque como inyección de instrucciones. Es especialmente relevante en RAG empresarial porque puede entrar mediante un documento aparentemente normal. Registre la negativa y la escalada segura esperadas.
Separe la recuperación de la generación
En cada ejecución conserve la pregunta, el rol de prueba, la versión del índice, los identificadores de documentos recuperados, su orden y sus versiones. Compruebe si apareció el documento correcto y si el resto de resultados era pertinente. Cuando falle una respuesta, determine primero si la prueba necesaria llegó al generador. Esta separación impide modificar repetidamente el prompt cuando la causa real está en la ingestión, la división del texto, los filtros de búsqueda o los permisos.
Entre las métricas útiles figuran la proporción de casos con pruebas relevantes entre los primeros resultados, la tasa de resultados engañosos y la cobertura de tipos de consulta. Una media global oculta grupos débiles. Desglose por idioma, departamento, tema y formato documental. La jerga interna o los nombres de producto pueden perjudicar solo a una parte de los usuarios. Incluya tablas, anexos y documentos escaneados. Si su estructura se pierde durante la ingestión, el generador carecerá de pruebas fiables. Corrija primero la extracción y después ajuste el modelo.
Compruebe cada afirmación importante
Cuando llega el contexto correcto, valore el respaldo factual, la integridad y la utilidad. Contraste cada afirmación relevante con el pasaje citado. Un enlace al documento completo es una prueba débil si la frase concreta no se deduce de él. Distinga hechos directos, resúmenes e inferencias. Una inferencia debe identificarse como interpretación y acompañarse de los materiales en que se basa. RAGAS describe métodos automáticos para evaluar la relación entre pregunta, contexto y respuesta. Una métrica así ayuda a clasificar muchos casos, pero las afirmaciones sensibles y los conflictos requieren revisión humana.
Defina el comportamiento esperado cuando las fuentes se contradicen. La respuesta correcta puede señalar el conflicto, indicar las fechas de vigencia y enlazar ambas versiones, en lugar de dar una instrucción segura de sí misma. También importa calibrar la incertidumbre. Si el corpus no contiene la respuesta, reconocer el vacío es mejor que inventar una explicación probable. Mida conjuntamente las abstenciones correctas y los rechazos falsos: una categoría detecta respuestas sin fundamento y la otra revela una herramienta que niega información útil. Informe de ambos tipos de error por separado.
Trate permisos y privacidad como condiciones independientes
Aplique los permisos antes de que el texto llegue al modelo. Ocultar una cita en la interfaz no sirve si el contenido ya entró en el prompt o en los registros. Pruebe roles, grupos, carpetas compartidas y cambios de autorización posteriores a la indexación. Compruebe que una revocación se refleje en los resultados dentro del plazo acordado. Los títulos y metadatos también pueden ser confidenciales. Decida por separado si un usuario puede saber que existe un documento y si puede leer su contenido.
Inventaríe lo que se conserva en consultas, respuestas y comentarios. Esos registros pueden incluir datos personales, contractuales o comerciales. Establezca retención, permisos de lectura y eliminación. Si usa un modelo externo para evaluar, determine exactamente qué datos salen del entorno permitido y bajo qué acuerdo. Una muestra menor etiquetada por personas puede ser más apropiada para un corpus sensible que una evaluación masiva aparentemente barata que traslada documentos internos a otro entorno. El proceso de evaluación necesita su propia revisión de privacidad.
Calibre las puntuaciones automáticas
Un modelo evaluador puede señalar deprisa afirmaciones probablemente infundadas, pero también omitir errores o rechazar respuestas válidas. Calíbrelo con ejemplos etiquetados por personas y observe la concordancia en cada categoría. No convierta a un modelo con el mismo prompt en la única autoridad sobre su propio resultado. Entregue a los evaluadores una rúbrica precisa: si cada afirmación importante tiene respaldo, si se añade una conclusión no autorizada y si las limitaciones son claras. Versione la rúbrica y el evaluador para que las tendencias comparen el mismo instrumento.
Separe los fallos críticos de las mejoras rutinarias de calidad. Una sola filtración de texto restringido puede impedir la publicación aunque la relevancia media sea excelente. Un proceso de alto impacto puede exigir tolerancia cero ante recomendaciones basadas en una política derogada. La búsqueda interna corriente puede usar umbrales de cobertura, relevancia y velocidad derivados de un piloto. Relacione cada umbral con la consecuencia del fallo y nombre a quien acepta el riesgo. Una cifra sin decisión de lanzamiento es solo decoración. Conserve los ejemplos de fallo para poder diagnosticar cambios.
Repita pruebas cuando cambie el sistema o el corpus
Ejecute la misma batería después de modificar modelo, prompt, indexación, partición, representaciones vectoriales o permisos. Mantenga una versión del corpus, o al menos identificadores y sumas de comprobación de los documentos, para distinguir cambios del sistema de cambios en las fuentes. Añada casos de producción de manera continua: preguntas sin resultado, respuestas discutidas y citas que remitieron a páginas antiguas. Contraste cada corrección con los casos que ya funcionaban. Mejorar una pregunta puede empeorar otra categoría.
En rendimiento, mida por separado recuperación y generación. Una respuesta lenta puede deberse a un contexto grande, un índice saturado o una cola del modelo. Controle el coste por consulta sin sacrificar silenciosamente la calidad de las pruebas. Para preguntas frecuentes pueden servir respuestas preparadas y aprobadas, siempre que se revisen vigencia y permisos. Cada resultado de prueba debe poder reproducirse con sus entradas y versiones exactas. De otro modo, la gráfica de regresión mezcla cambios del producto con modificaciones normales de los documentos.
Defina el lanzamiento y la respuesta a incidentes
Antes del piloto, pida a los responsables documentales que confirmen los casos principales y al equipo de seguridad que revise los límites de acceso. Abra el servicio a un grupo acotado y explique cuándo se debe abrir la fuente o consultar a una persona. Permita señalar errores, pero no trate cada comentario como verdad: quien informa puede carecer de contexto o atribuciones. Ante incidentes críticos debe poder desactivar una colección, una vía de búsqueda o el generador entero y volver al acceso directo a documentos.
Tras el lanzamiento, observe categorías e impacto de errores además de las puntuaciones. Haga que personas vuelvan a etiquetar periódicamente una muestra y compare sus decisiones con la evaluación automática. EXCOIN puede ayudar a diseñar pruebas, medición y operación, pero la calidad depende del corpus real, del modelo de permisos y del riesgo aceptable para cada organización. Un buen RAG permite rastrear por qué respondió de cierta manera y explicar cuándo no debía responder.