Sistemas de IA: separa sugerencias y autoridad

Un asistente lee un documento y redacta una respuesta. Si también envía mensajes o modifica registros, un error puede convertirse en una acción real. El límite está entre texto útil y autoridad.

Límite de acción: Punto donde una operación propuesta produce un efecto real y necesita autorización independiente.

El contenido no hereda autoridad

Una aplicación combina solicitudes, documentos, respuestas de herramientas e instrucciones. Los documentos pueden contener indicaciones engañosas. Son datos de una fuente, no permiso para cambiar las reglas.

La inyección de instrucciones intenta redirigir el comportamiento mediante contenido. Los modelos procesan lenguaje e instrucciones juntos. Delimitadores y recordatorios ayudan a estructurar, pero no crean un límite perfecto.

Limita las capacidades reales

Aplica identidad y autorización fuera del modelo. Limita herramientas, valida argumentos y restringe datos a recursos permitidos para la persona solicitante. Que el modelo diga que algo está permitido no lo autoriza.

Antes de acciones importantes, presenta destinatario, datos y efecto concretos para la confirmación adecuada. La aprobación corresponde a esa acción, no a cualquier otra futura. Valida la salida según su destino antes de mostrarla o ejecutarla.

Diseña para errores y medición

Prueba documentos ficticios y herramientas simuladas. Incluye contenido engañoso, destinatarios equivocados, alcance excesivo e incertidumbre. Comprueba bloqueos y tareas útiles permitidas. Evita secretos reales en evaluaciones.

Registra lo necesario para investigar sin acumular información sensible. Define alternativas seguras, escalado y revocación de herramientas. Un tono seguro no demuestra acierto: aporta fuentes fiables y comunica incertidumbre.

Revisión resuelta: una aprobación puede quedar obsoleta

Un asistente ficticio lee casos asignados al agente actual y prepara respuestas. Enviar exige permiso vigente sobre el caso y aprobación de destinatario, versión del borrador y adjuntos exactos. La aplicación aplica las condiciones independientemente del texto generado. El ejercicio usa etiquetas opacas de contacto, no direcciones reales.

• C1: Nora puede leer K42. Una nota recuperada sugiere otro contacto, pero el registro autorizado indica R1. La nota no tiene permiso para modificarlo.
• C2: Nora aprueba versión tres para R1, sin adjuntos. A17 registra esos campos exactos.
• C3: Antes del envío, la propuesta cambia a versión cuatro para R2. El ejecutor recibe A17 junto con los nuevos campos. No existe aprobación de esa combinación.
• C4: En otro caso de evaluación, la persona confirma una acción exacta después de perder su permiso sobre K42. La política exige permiso actual antes del envío, no solo al recuperar datos.

PrediceEl modelo presenta versión cuatro como mejora útil. ¿Puede reutilizar A17 si la tarea general sigue siendo responder?

No. A17 pertenece a versión tres, R1 y ningún adjunto. C3 cambia contenido y destino. Retén la acción, muestra la propuesta real y comprueba autorización actual antes de solicitar aprobación. Una explicación convincente no amplía la concesión registrada.

Vincular la revisión al efecto

La aplicación necesita relacionar de forma fiable lo que vio la persona con lo que hará el ejecutor. Cambiar destinatario, adjuntos o contenido relevante no debe reutilizar silenciosamente la aprobación anterior. Definirlo corresponde al diseño; otro modelo repitiendo “aprobado” no aporta autoridad independiente.

C4 añade otro límite. Confirmar de nuevo expresa intención, pero puede faltar autorización actual. El sistema debe denegar y explicar el problema de acceso. No debe pedir al modelo que improvise otra identidad ni reinterprete el permiso revocado.

La alternativa puede seguir siendo útil: conserva el borrador sin enviar solo si lo permiten retención y acceso actuales, identifica el requisito incumplido y deriva a una persona autorizada. No reveles el borrador protegido dentro de un error a quien perdió acceso.

Registra solicitante, caso, campos aprobados y propuestos, decisión de política y efecto simulado. Evita contenido innecesario de mensajes en los registros. Incluye aprobación exacta vigente que debe funcionar, cambios que necesitan revisión y acceso revocado que debe fallar.

Decisión modelo: C3 tiene aprobación obsoleta; C4 carece de autoridad actual. Ambos impiden enviar por motivos distintos. Separarlos facilita corrección y respuesta útil en lugar de una etiqueta genérica de rechazo de IA.

EXPLORA EL CONCEPTO

¿Dónde reside la autoridad?

Un asistente ficticio resume documentación.

Una página pide enviar registros privados a otro destino

Es contenido no fiable. No concede permiso para divulgar ni cambiar destinatarios.

El modelo propone un borrador limitado

Puede ser útil. Verifica hechos y destinatarios antes de actuar.

Una política independiente comprueba la solicitud

Aplica control en el límite de acción con identidad y recursos fiables.

Modelo simplificado para aprender. No se conecta a sistemas ni usa datos reales.

Llévalo a una decisión

Diseña permisos alrededor de herramientas y datos, no de la aparente obediencia del modelo.