Ofensiva de IA

La IA ayuda a resumir notas, clasificar eventos, buscar documentación o redactar explicaciones. También puede formar parte del sistema protegido. Ambos usos necesitan evidencia clara, acceso limitado y una forma de corregir errores.

Este módulo considera la aplicación completa: modelo, fuentes, identidad, interfaz, herramientas opcionales y operación. Algunos riesgos recuerdan fallos habituales; otros afectan aprendizaje, datos o evaluación. Comprender una categoría no elimina las demás.

Utiliza el asistente con evidencia

Un Modelo de lenguaje genera explicaciones útiles sin garantizar exactitud. Las familias emplean objetivos diferentes; un generador conversacional no define toda IA.

Al estudiar, compara con la referencia real, pide incertidumbres y comprueba ejemplos. En el trabajo, considera confidencialidad, conservación, acceso del proveedor y datos realmente necesarios. Una cita convincente no demuestra que exista ni que apoye la afirmación.

La revisión humana ayuda cuando hay tiempo, evidencia y autoridad para intervenir. No es una protección universal por sí sola. Los sistemas con consecuencias necesitan límites aplicables y respuestas definidas ante fallos.

Dibuja el producto alrededor del modelo

La credencial para contactar al proveedor del modelo no es necesariamente la identidad de las herramientas posteriores. El Ejecutor de herramientas tiene contexto de proceso y puede usar otras credenciales o autorización delegada. Cada límite exige comprobaciones propias.

Inyección de instrucciones y fallos de aplicación

La Inyección de instrucciones intenta que material no fiable redirija conducta. Un documento aporta información sin permiso para modificar políticas ni autorizar acciones. Jerarquía y entrenamiento ayudan, pero controles independientes deben gobernar operaciones sensibles.

La Recuperación también necesita permisos ordinarios. Un índice no debe divulgar documentos de otra organización porque el modelo pueda buscarlos. La salida enviada a bases de datos, navegadores u otros intérpretes necesita protección según contexto. Parametrizar consultas y codificar salida web cumplen funciones distintas.

Un rechazo en el chat no demuestra que toda herramienta esté bloqueada. Una respuesta inusual tampoco demuestra una acción no autorizada. Separa salida, operación propuesta, decisión de autorización y efecto observado.

Datos, evasión y privacidad

Envenenar entrenamiento intenta influir en comportamiento aprendido mediante datos manipulados. Cambiar documentos recuperados altera evidencia sin modificar necesariamente parámetros del modelo. Ambos afectan integridad, con mecanismos y validaciones distintos.

La evasión adversaria utiliza entradas diseñadas para provocar resultados no deseados. Las restricciones y la necesidad de conservar significado o función dependen de la tarea; «cambiar unos píxeles» no es una definición universal.

Inferir pertenencia estima si un registro apareció en entrenamiento. Extraer datos busca información protegida. Extraer un modelo busca reproducir o recuperar aspectos del modelo. Son afirmaciones diferentes; demostrar una no prueba las demás.

Profundiza en inyección de instrucciones, datos y salida y evasión y privacidad.

Acciones, texto y límites de recursos

Los asistentes con herramientas necesitan autorización ligada a persona o carga, acción, recurso y contexto. Capacidades limitadas, aislamiento, restricciones de destino y aprobación apropiada para acciones importantes reducen daño. La redacción del modelo no concede permisos.

El texto solo también divulga información o influye en decisiones perjudiciales. Evalúa comunicación y acción. Solicitudes, recuperación, generación o bucles sin límites pueden degradar disponibilidad o generar costes; define y verifica límites de uso y duración.

El asistente propone una acción legítima para otra cuenta. ¿Es segura?

No. Una operación válida necesita actor, recurso y propósito correctos. Los permisos deben rechazar la reserva o modificación no autorizada aunque la explicación sea convincente.

Convierte observaciones en mejoras

Utiliza situaciones ficticias o entornos de evaluación expresamente autorizados. Un hallazgo útil identifica fuente no fiable, decisión afectada, consecuencia demostrada y corrección, indicando incertidumbre. ATLAS y la terminología NIST ayudan a describir estas relaciones.

Defensa de IA explica controles por capas. Evalúa comportamiento del modelo y aplicación de políticas conjuntamente, con evidencia de la mejora y sus límites.

Revisión resuelta: un asistente, resultados distintos

Un asistente ficticio de biblioteca permite reservar solo para la membresía propia. Registra por separado selección de fuentes, texto generado y acciones opcionales. Los registros aportados corresponden a una evaluación simulada, sin personas ni efectos externos reales.

• A1: El solicitante M14 está autenticado. La credencial del proveedor pertenece a la aplicación. Un proceso independiente usa LibraryWorker; las reservas usan una credencial de servicio limitada por una comprobación independiente del miembro.
• A2: El modelo propone reservar para M27. La política compara con M14 y rechaza. El registro de efectos confirma que no se creó reserva.
• A3: El borrador cita R9, pero la recuperación completa contiene solo R1 y R2. No se aporta verificación externa de R9.
• A4: El intermediario permite como máximo tres operaciones enviadas por evaluación. Envía tres y rechaza una cuarta propuesta antes del envío. No se evaluaron coste por operación ni demanda concurrente.
• A5: Otro informe de privacidad califica un registro sintético como “probablemente presente en entrenamiento”. No aporta pertenencia real comprobada ni texto protegido recuperado.

Predice¿Debe calificarse el asistente como “seguro” o “comprometido” solo por la reserva rechazada de A2?

Ninguna etiqueta describe bien la evidencia. Proponer otro miembro es un comportamiento que mejorar; la comprobación independiente impidió la acción observada. A3 conserva una cita sin respaldo y A4 solo demuestra un límite concreto de recursos. Vincula cada conclusión con su registro.

Mejorar el límite que produjo cada resultado

Para A2, conserva comprobaciones independientes con identidad fiable y recurso propuesto real. Revisa reservas útiles permitidas además de las rechazadas: bloquear todo protegería un resultado haciendo inútil el servicio.

Para A3, no publiques el borrador como documentado por la apariencia convincente de la cita. Exige una fuente recuperable que apoye la afirmación o declara falta de respaldo y deriva a revisión. La ausencia en recuperación no demuestra que R9 no exista en ningún lugar, pero no respalda la atribución de esta respuesta.

A4 requiere presupuestos adicionales de coste, duración y concurrencia. A5 necesita un objetivo claro de evaluación y evidencia adecuada a ese objetivo. Ni estimar pertenencia ni omitir texto recuperado resuelve toda la cuestión de privacidad.

Entregable modelo: cuatro columnas de afirmación, evidencia, límite y corrección. Conserva la diferencia entre sugerencia del modelo, permiso de aplicación y efecto demostrado.