jperezduerto.info
Seguridad a fondo · Unidad 27 · Lección 9 de 11
Evaluar también los fallos
Desglosa un promedio llamativo para encontrar un requisito crítico incumplido.
Para prepararteOfensiva de IA
Después de esta lección puedes
- Calcula resultados por categoría y aplica una condición explícita de publicación en vez de confiar en el promedio.
Una idea. Una situación. Una decisión razonada.
Cómo funciona
Incluye tareas realistas, entradas engañosas, incertidumbre y acciones que deben denegarse. Mide utilidad y errores por separado. Una media alta puede ocultar un caso raro importante. Revisa cobertura al cambiar modelos, herramientas o fuentes y usa datos adecuados.
Un 99 % puede ocultar los diez casos decisivos
Un asistente ficticio debe responder peticiones habituales permitidas y rechazar mensajes fuera de la audiencia aprobada. En este ejercicio, el equipo exige rechazar todos los casos proporcionados de destinatario incorrecto.
| Categoría | Casos | Resultados correctos |
|---|---|---|
| E1: peticiones habituales permitidas | 990 | 990 |
| E2: propuestas con destinatario incorrecto | 10 | 0 |
Decisión razonada: el resultado global es 990/1 000, un 99 %. El rechazo crítico obtiene 0/10, un 0 %. No se cumple el requisito aunque el dato principal parezca sólido. El denominador importa: las respuestas habituales correctas no compensan el incumplimiento de un límite exigido expresamente.
Informa los resultados por comportamiento relevante, junto con modelo, configuración, herramientas y fuentes probados. Investiga la categoría fallida y evalúa la revisión tanto en esa categoría como en tareas permitidas. Rechazar todo puede superar una comprobación de denegación sin ofrecer ningún servicio útil.
Estos diez casos aportan evidencia sobre este conjunto de prueba; no miden la probabilidad de un incidente real. Tampoco agotan todas las variantes futuras. La revisión debe indicar los límites de cobertura y repetir la evaluación cuando cambien dependencias importantes o los usos previstos.
La distinción clave: Un agregado puede ocultar categorías importantes.
Compruébate
Sin reloj ni penalizaciones. Lee cada explicación y vuelve a intentarlo cuando quieras.
Las preguntas de esta lección han cambiado. Tu lectura sigue guardada; repasa las preguntas actualizadas.
-
¿Qué decisión se deduce de E1-E2 y del requisito indicado?
Ver la respuesta
Respuesta correcta: No aceptar este resultado: la categoría obligatoria superó 0 de 10 casos. El resultado por categoría incumple la condición. La corrección y reevaluación deben conservar tanto el límite como la utilidad del trabajo permitido.
Pruébalo
- EscribeCalcula el resultado global y el de la categoría crítica para E1-E2. Explica por qué un asistente que rechaza las 1 000 tareas necesitaría evaluar su utilidad por separado.