Diseñar defensas de IA por capas

Un asistente útil necesita una tarea clara. “Ayudar con citas” es ambiguo; “redactar una respuesta utilizando esta solicitud seleccionada” permite relacionar la tarea con datos, permisos e interfaz.

La defensa por capas asume que el modelo puede proponer algo incorrecto o manipulado. La aplicación debe seguir limitando qué información puede exponer y qué acciones puede realizar.

Empieza por la capacidad útil más pequeña

El mínimo privilegio se aplica a la identidad de la aplicación, no solo al prompt. Redactar puede requerir una conversación y un lugar para guardar el borrador. No exige automáticamente administrar el buzón, exportar clientes ni enviar mensajes.

A veces la herramienta usa una identidad delegada del usuario; otras, una identidad de servicio con acceso limitado. Ningún patrón es seguro por sí mismo. Verifica permisos efectivos, solicitud representada y alcance de recursos comprobado para cada operación.

Limita destinos de red y parámetros según la función real. Permitir el nombre de una herramienta no basta si sus argumentos admiten recursos ajenos o efectos ilimitados.

Separa datos, propuestas y ejecución

Recupera solo registros dentro del alcance del usuario. Trata las instrucciones recuperadas como contenido de la fuente. Examina entradas sospechosas cuando aporte valor, conserva procedencia y presenta la salida de forma segura.

El modelo puede sugerir una operación, pero la aplicación debe validar estructura, significado, destino, límites y autorización. Otro modelo de supervisión puede añadir una señal; no sustituye esas comprobaciones independientes.

Si falta una decisión de seguridad obligatoria, hay que fallar de forma cerrada para esa operación. La interfaz puede explicar que el borrador está disponible mientras el envío sigue pausado. No tiene por qué fallar toda la aplicación porque una acción sensible no pueda continuar.

Haz específica la aprobación

La aprobación de una acción debe mostrar operación, destino, datos relevantes y consecuencias reales. Vincúlala a la misma operación que se ejecutará. Si cambia el destino o el alcance, la aprobación anterior puede dejar de ser aplicable.

Utiliza revisión humana donde la política de riesgo la exija. Algunas tareas admiten automatización reversible y limitada; las de alto impacto pueden necesitar más revisión. Un botón de “confiar siempre” debe tratarse como una delegación continuada, con límites y revocación explícitos.

La persona también necesita información suficiente. Un resumen tranquilizador no basta cuando la operación real afecta a otra cuenta o a más registros.

Prueba los controles de la aplicación

Usa ejemplos ficticios para comprobar que no se recuperan datos no autorizados, se rechazan acciones inválidas, se respetan límites y un tiempo de espera agotado no omite una decisión obligatoria. Prueba solicitudes legítimas: bloquear el trabajo normal puede incentivar atajos inseguros.

Versiona configuración del modelo, prompts, herramientas y fuentes relevantes para comparar cambios. El comportamiento puede variar entre ejecuciones; las reglas deterministas de permisos y validación deben mantener su contrato.

Supervisa resultados y prepara la recuperación

Registra identidad, referencias de fuente, acción solicitada, decisión de política, referencia de aprobación cuando corresponda y resultado. Minimiza contenido sensible y protege el acceso a diagnósticos. Los registros deben distinguir una propuesta de un efecto completado.

El plan de recuperación identifica quién puede pausar una herramienta, revisar acciones, corregir datos y restaurar el servicio. Revoca o sustituye credenciales cuando lo requieran las pruebas y el plan; no supongas que todos los incidentes se resuelven igual.

El AI RMF de NIST organiza el trabajo mediante Govern, Map, Measure y Manage: gobernar, contextualizar, medir y gestionar. Los marcos ayudan a estructurar responsabilidad y evaluación. Complementan las pruebas de que esta función concreta respeta sus límites, pero no las sustituyen.