Caso: menos alertas, un cambio sin detectar

Tu tarea: revisar la cola de revisión

Ayudas al taller comunitario ficticio Maple a gestionar permisos de reservas. El equipo quiere menos alertas innecesarias y también encontrar cambios no aprobados. Dos reglas propuestas, A y B, ya se han evaluado con la evidencia inventada siguiente. Tu tarea es recomendar un próximo paso, no configurar un sistema.

La unidad es un cambio de permisos completado. Una revisión independiente de cambios y aprobaciones etiqueta doce casos: cuatro no aprobados y ocho aprobados. «Positivo» significa no aprobado según esta política ficticia; no demuestra intención maliciosa ni identifica a una persona. Se revisaron casos con y sin alerta, por lo que la muestra incluye posibles omisiones. Cada cambio cuenta una vez, aunque lo describan varios registros.

Etapa 1: elige los denominadores correctos

PrediceAntes de continuar, ¿qué denominador responde «qué proporción de las alertas de A corresponde a cambios no aprobados»: cuatro, seis o doce?

Seis alertas. Tres son positivos verdaderos y tres falsos positivos: precisión 3/6 = 50%. La sensibilidad responde otra pregunta: A detecta tres de los cuatro cambios realmente no aprobados, así que es 3/4 = 75%. La tasa de falsos positivos es 3/8 = 37,5%, usando los ocho cambios realmente aprobados.

Los cuatro recuentos de A son VP 3, FP 3, FN 1 y VN 5. Suman doce. La referencia de clasificación de Google Developers explica los denominadores; las etiquetas y la evidencia de Maple son originales de este ejercicio. Un porcentaje bien calculado puede responder a otra pregunta si cambias de población o de definición de etiqueta a mitad del análisis.

Etapa 2: examina el coste de una excepción

La regla B añade una excepción para un procedimiento administrativo habitual. Suprime E y F, cambios aprobados, pero también A, un cambio no aprobado dentro de ese procedimiento. Sigue señalando B, C y G. Sus recuentos pasan a VP 2, FP 1, FN 2 y VN 7. La precisión sube a 2/3, aproximadamente el 67%, mientras la sensibilidad baja a 2/4, el 50%. La tasa de falsos positivos baja a 1/8, el 12,5%.

Supón ocho minutos de revisión inicial por alerta y 32 minutos disponibles para este lote. A necesita 48 minutos; B, 24. Se excluyen investigaciones posteriores y no se agrupan duplicados. La cola menor cabe, pero el caso adicional omitido tiene un coste real. Aprobar un procedimiento no equivale a aprobar todos los cambios que se realizan mediante él.

Predice¿Debe Maple adoptar B porque mejora la precisión y su cola cabe en el presupuesto?

Son ventajas, no una decisión completa. B pierde el caso A. El responsable debe valorar las consecuencias de las omisiones frente a la capacidad. Mejor contexto de aprobación, priorización defendible, más capacidad o una excepción revisada más limitada son alternativas que conviene probar. La tabla no demuestra cuál funcionará.

Etapa 3: observa lo que la tabla no dice

Hubo cuatro cambios más en un segundo servicio mientras su telemetría no estaba disponible. No se han revisado independientemente y no pertenecen a A-L. No los añadas como negativos verdaderos porque faltaron alertas, ni como falsos negativos porque falló la recogida. Se desconocen sus etiquetas y el comportamiento de las reglas con datos completos.

OWASP relaciona la utilidad de los registros con su contexto y calidad. NIST conecta detección, análisis y actuación. Aquí significa asignar la evaluación de la carencia de cobertura y decidir cómo informarla, además de revisar las reglas. Ninguna métrica mide la cobertura de todos los servicios de Maple.

Decisión modelo y entrega

«A detecta más cambios no aprobados de la muestra, pero supera el presupuesto en dieciséis minutos. B cabe y mejora la precisión a costa de otra omisión. Solicitaremos al responsable una decisión temporal de priorización y recursos, examinaremos la excepción que perdió A y evaluaremos un diseño revisado con casos revisados por separado. Cuatro cambios sin observar siguen siendo una carencia abierta».

Otra decisión defendible podría aceptar B temporalmente si las omisiones tienen consecuencias acordadas menores y otro control eficaz las cubre. Eso exige evidencia, responsable y fecha de revisión; aquí no se aportan. Una muestra pequeña y construida enseña cálculos y costes. No establece comportamiento futuro, certeza estadística ni la causa de los cambios no aprobados.