Datos, recuperación y salida segura en IA

Una función de IA es una cadena de tratamiento de datos. La información entra mediante documentos, solicitudes y herramientas; el material generado sale hacia una pantalla, un borrador o una acción. La seguridad debe seguir todo el recorrido.

Empieza por tres preguntas: ¿de dónde procede la información, quién puede utilizarla y qué la interpretará después? El modelo no elimina ninguna de ellas.

Entrenar y recuperar cambian cosas diferentes

El entrenamiento o ajuste modifica parámetros del modelo. Cambiar un conjunto de entrenamiento puede afectar a un modelo producido después con esos datos. RAG, generación aumentada por recuperación, suele seleccionar contenido externo y añadirlo al contexto de una solicitud sin actualizar esos parámetros.

Un documento engañoso en un índice puede afectar a una respuesta sin “infectar los pesos”. Corregir una fuente de recuperación y sustituir un modelo entrenado son tareas distintas. Algunos productos combinan ambos procesos, por lo que debes describir el recorrido real.

Las representaciones vectoriales ayudan a medir similitud. No demuestran que un documento sea verdadero, seguro o adecuado para cualquier usuario. La clasificación de resultados depende de la indexación, la búsqueda y la pregunta.

Comprueba procedencia y acceso por separado

La procedencia de datos registra de dónde viene un elemento y cómo cambió. Son útiles fuente, versión, responsable, revisión y audiencia permitida. Un hash puede demostrar que unos bytes coinciden con un valor conocido; no prueba por sí solo que el autor sea fiable o el contenido correcto.

Aplica permisos al recuperar los registros y conserva el mismo alcance de usuario o cliente en las cachés. Una cita no corrige una recuperación no autorizada. El acceso a la fuente puede cambiar después de indexarla: eliminaciones y cambios de permisos deben llegar a las copias derivadas.

La salida generada será entrada en otro lugar

El tratamiento de salida depende del destino. El texto de navegador necesita presentación segura; el formato enriquecido permitido requiere una política de saneamiento adecuada. Los valores de base de datos deben seguir siendo datos en operaciones parametrizadas. Los archivos necesitan comprobaciones reales de contención que entiendan límites de ruta, no solo prefijos coincidentes.

Una URL propuesta necesita una política sobre destinos y acceso a la red. Cumplir un formato no demuestra que el destino sea apropiado. Prefiere operaciones limitadas a interpretar texto libre generado como órdenes.

La distinción importante es entre contenido que parece aceptable a una persona y contenido que otro intérprete puede tratar como instrucciones ejecutables.

Las trazas también son un almacén

Un asistente de soporte puede copiar un ticket en un prompt, recuperar otro fragmento, generar una respuesta y registrar todo en diagnósticos. Aunque no entrene, esas copias pueden exponer información sensible.

Define quién inspecciona trazas, qué se redacta y cuándo caducan los registros. Conserva pruebas útiles para resolver problemas sin recoger habitualmente conversaciones privadas completas o credenciales. La separación de acceso debe alcanzar analíticas, exportaciones, cachés y copias de seguridad.

Revisa un fallo realista sin adivinar su causa

Imagina que un usuario ficticio recibe una respuesta con un fragmento del ticket de otro cliente. Puede deberse a permisos de recuperación, una caché compartida, una conversación mal delimitada o selección incorrecta de salida. El síntoma no demuestra memorización de datos de entrenamiento.

Sigue la fuente y sus copias con ejemplos ficticios o pruebas mínimas. Describe la divulgación observada, identifica el límite que falló, corrígelo y comprueba que las respuestas legítimas funcionan. Es más útil que atribuir todos los problemas de datos a una misma debilidad del modelo.