Elegir preguntas con respuestas respaldadas
Empiece con un grupo de usuarios y preguntas concretas, como el procedimiento ante una excepción de servicio o la explicación de una norma interna. Para cada pregunta identifique el documento que debería contener la respuesta y su responsable. Si el conocimiento solo está en la cabeza de las personas o las normas se contradicen, el modelo no reparará la fuente. Corrija antes el contenido. La investigación original sobre generación aumentada con recuperación combina encontrar material pertinente con redactar una respuesta; la calidad de las pruebas seleccionadas afecta directamente a su credibilidad. Algunas tareas solo necesitan buena búsqueda, sin respuesta generada.
Defina las consecuencias de una respuesta incorrecta. Una herramienta de orientación interna puede tolerar más incertidumbre que instrucciones sobre dinero o datos personales. Indique cuándo debe reconocer que no encontró respuesta y adónde dirigir al usuario. Decida si devolverá una cita del fragmento, un enlace al documento o también su versión. La meta no es responder a todo, sino encontrar pronto la fuente correcta y vigente. Mida también los casos en que abstenerse resulta mejor que adivinar de forma convincente. Nombre al especialista que resolverá disputas sobre el material original.
Ordenar antes los documentos y sus responsables
Trace repositorios, tipos de archivo, versiones lingüísticas y estructura de permisos. Para cada fuente indique propietario, fecha de vigencia, versión y regla de retirada. Un documento viejo con mayor puntuación de búsqueda puede ser peor que una instrucción breve y actual. Compruebe que los textos sean legibles por máquina y que tablas y anexos no pierdan sentido al convertirse. El objetivo no es ingerirlo todo; seleccione una colección cuya corrección pueda mantenerse. Un documento sin responsable se convertirá en un riesgo con el tiempo incluso con un modelo excelente. Registre cuándo se comprobó por última vez.
Prepare un procedimiento para conflictos entre fuentes. Si dos políticas indican valores distintos, el generador no debería inventar un compromiso. Muestre la discrepancia y remítala a los propietarios. Conserve identificadores, ubicación original y metadatos necesarios para filtrar. Eliminaciones y cambios de permisos deben llegar al índice en un plazo conocido. Decida si las versiones históricas han de poder buscarse por usuarios normales. Corresponde decidirlo al dueño de los datos y no solo al administrador de búsqueda. Pruebe un documento actualizado y su versión anterior para comprobar cuál recupera el sistema.
Tratar indexación y fragmentación como decisiones de producto
Los documentos largos suelen dividirse en pasajes más pequeños que se recuperan y entregan al modelo. Fragmentos demasiado cortos pierden contexto; los muy largos dificultan la selección y elevan costes. Respete títulos, tablas y límites de las reglas. Mantenga de cada pasaje un enlace al original completo y su vigencia. Pruebe si una pregunta sobre una excepción devuelve esa excepción y no solo la introducción. Elija tamaño mediante ejemplos de sus documentos y preguntas, no mediante un número universal. Compruebe también si a sus usuarios les sirve mejor la coincidencia exacta, semántica o ambas.
La búsqueda vectorial puede encontrar significados parecidos, pero fallar con un número de contrato, sigla o nombre exacto de producto. La búsqueda clásica puede resolverlos mejor. Considere un método híbrido y reordenar resultados. Aplique filtros de equipo, idioma, estado y vigencia antes de entregar pasajes al modelo. Registre cuáles se usaron realmente en cada respuesta. Sin esa evidencia cuesta distinguir un fallo de indexación de una afirmación inventada. Cada cambio de estrategia requiere comprobar que otros tipos de pregunta no empeoraron. Mantenga ejemplos de coincidencia exacta y semántica en las mismas pruebas.
Exigir permisos antes de generar
Los usuarios solo deben recuperar documentos que pueden leer. Filtrar después de generar es demasiado tarde: el modelo ya podría haber utilizado contenido confidencial. Transmita reglas desde el repositorio original o cree un mapa fiable de permisos y pruebe cómo se actualiza. Haga preguntas directas sobre otro proyecto, títulos parecidos y retirada de acceso durante una sesión. Atienda especialmente a documentos compartidos entre equipos y metadatos que también pueden revelar información. El modelo no puede ampliar permisos. Una respuesta correcta a una pregunta no autorizada sigue siendo un fallo de seguridad.
El texto recuperado puede incluir instrucciones hostiles, por ejemplo ignorar reglas o enviar contenido fuera. OWASP describe prompt injection como un riesgo propio. Un documento es información, no instrucciones confiables de la aplicación. Limite las herramientas accesibles al modelo, separe reglas del sistema de resultados de búsqueda y no le conceda acciones innecesarias. Pruebe ataques insertados en documentos y comentarios. Una redacción cuidadosa del prompt no sustituye los controles de acceso del servidor ni la aprobación humana de operaciones sensibles. Registre el origen de cada pasaje para investigar y retirar una fuente maliciosa.
Hacer que las citas permitan verificar de verdad
Una respuesta debe señalar el pasaje utilizado y abrir el documento original, no mostrar solo el nombre del archivo. Indique versión o fecha cuando las reglas cambien. Una cita no salva una afirmación que su fuente no sostiene. Pruebe si cada afirmación importante puede comprobarse y si el usuario tiene acceso al enlace. Para cálculos o decisiones que afectan a clientes puede ser más seguro mostrar la prueba y dejar que una persona formule la respuesta final. La interfaz debe distinguir cita literal, resumen e inferencia del modelo. Evite crear una falsa impresión de certeza mediante el formato de las referencias.
Si se encuentran varias fuentes posibles, muestre diferencias y fechas de vigencia. No obligue al modelo a elegir una porque su texto es más corto. Sin evidencia suficiente debería reconocer la incertidumbre y proponer el siguiente paso. Los usuarios necesitan una vía sencilla para informar de una respuesta errónea o documento desactualizado. Relacione la observación con pregunta, pasajes seleccionados y versión del índice sin almacenar entradas sensibles innecesarias. Así el equipo puede corregir la causa y comprobar después que no se repite. Los dueños de documentos deben recibir los avisos que les correspondan.
Evaluar la búsqueda por separado de la respuesta
Prepare preguntas del trabajo real con documentos y resultados esperados. Incluya casos normales, nombres exactos, normas parecidas, versiones viejas, preguntas sin respuesta y solicitudes fuera de permisos. Mida si se recuperó el pasaje correcto, si la respuesta se apoya en él, si está completa y si cita bien. La documentación de Microsoft sobre evaluación RAG distingue calidad de recuperación y respaldo de la respuesta; separar ambas es útil incluso sin sus herramientas concretas. Una nota baja apunta entonces a datos, índice, prompt o modelo en lugar de una petición genérica de mejorar la IA.
Reserve parte del conjunto para una comprobación independiente o el sistema aprenderá solo las preguntas de prueba. Separe resultados por departamento, idioma y tipo de documento; una media puede ocultar errores graves en un proceso. Use revisión humana y criterios claros para respuestas críticas. Junto a calidad observe tiempo, coste y solicitudes derivadas a una persona. Fije objetivos mínimos antes del piloto. Añada errores descubiertos en producción conservando una base estable para comparar versiones. Registre cuándo un cambio de fuente vuelve obsoleta una respuesta de referencia.
Diseñar actualización y operación desde el comienzo
Un cambio documental debe llegar al índice en un plazo conocido; borrado o retirada de permisos pueden necesitar uno más breve. Vigile éxito de importación, archivos rechazados, antigüedad del índice y fallos de conversión de tablas. Compruebe varias preguntas clave tras actualizar. Si falla la ingesta, el sistema no debe presentar silenciosamente una norma antigua como vigente. El dueño del documento debe saber confirmar que se indexó su cambio. La guía operativa explica recuperar índice, revertir configuración y quién resuelve disputas sobre corrección del contenido. Ensaye estas acciones antes de que el personal dependa de la herramienta a diario.
Versione fragmentación, búsqueda, prompt, modelo e índice. Si cae la calidad, identifique qué cambió y qué configuración produjo una respuesta. Supervise disponibilidad y carga protegiendo el contenido de las consultas en registros. Establezca conservación, roles y una vía para borrar datos personales registrados según las normas reales. La interrupción de la generación no debería dejar al usuario sin documentos originales. RAG debe acelerar el acceso al conocimiento y no ser la única manera de encontrarlo. Mantenga búsqueda simple o acceso directo a documentos cuando falle la capa generativa.
Reconocer cuándo RAG no es la opción adecuada
Si la respuesta depende del estado actual de una transacción, la búsqueda documental quizá no baste. Hace falta una consulta autorizada al sistema dueño de ese estado. Si la colección es pequeña y está bien organizada, la búsqueda convencional o la navegación pueden ser más sencillas y fiables. Cuando el resultado debe ser determinista, como calcular una cantidad mediante una regla aprobada, generar texto puede añadir riesgo innecesario. Para fuentes contradictorias, establezca primero propiedad del contenido. RAG no reemplaza la gestión de datos ni el juicio especialista. Elija el método más pequeño que permita ofrecer una respuesta verificable.
Limite el primer piloto a una colección gestionada y preguntas representativas. Fije mínimos de recuperación, respuestas respaldadas, citas correctas, latencia y condiciones para parar. Compárelo con búsqueda normal y el proceso actual. EXCOIN puede diseñar e implementar una solución, pero el beneficio real no puede prometerse sin examinar documentos y permisos. El éxito significa que el usuario encuentra con seguridad una fuente vigente, puede abrirla y sabe cuándo consultar la respuesta con una persona. Registre el resultado del piloto para que la ampliación no oculte debilidades pendientes.