Rendimiento y Evaluación de Dispositivos Biométricos

1. Técnicas Biométricas Aplicadas a la Seguridad Rendimiento y Evaluación de Dispositivos Biométricos Dr. Carlos Enrique Vivaracho Pascual

2. Técnicas Biométricas Aplicadas a la Seguridad Índice Exposición • Introducción. • Planificando la Evaluación. 3. Los Datos. 4. Medida del Rendimiento. • Análisis Estadístico de los Resultados. • Bibliografía.

3. Técnicas Biométricas Aplicadas a la Seguridad 1. Introducción • Evaluar: Estimar aptitudes y rendimiento de los sistemas [Sharp] Prestar igual atención a todos los aspectos, desde la adquisición de los datos, a la integración del sistema

4. Técnicas Biométricas Aplicadas a la Seguridad 1. Introducción • Aspectos a analizar en la evaluación: • Rendimiento. • Seguridad, integridad y confidencialidad de los datos. • Fiabilidad, disponibilidad y mantenimiento de la aplicación informática. • Aceptación y/o facilidad de manejo. • Comercialización del producto. • Cuestiones legales.

5. Técnicas Biométricas Aplicadas a la Seguridad 1. Introducción • Objetivos: • Comparar tecnologías. • Ver si es factible su realización práctica. • Analizar el cumplimiento de requisitos. • ... • Importante: objetiva. • Realizada por instituciones independientes. • Evaluaciones estándar. • Seguimiento de prácticas y criterio comunes.

6. Técnicas Biométricas Aplicadas a la Seguridad 1. Introducción • Evaluaciones estándar: • Comercial: • International Biometric Group (IBG). • International Biometric Industry Association (IBIA). • No comercial: • National Institute of Standars and Technology (NIST). • Voz. • Caras, Face Recognition Vendor Test (FRVT): FERET • Fingerprint Verification Competition (FVC). • Audio and Video-Based Biometric Person Authentification (AVBPA) face constest: XM2VTS

7. Técnicas Biométricas Aplicadas a la Seguridad 1. Introducción • Criterios comunes. • En elaboración: • ISO: • JCT1/SC5 (Biometrics) / WG5 (Biometic Testing and Reporting). • Documentos: • Common Criteria: • Common Evaluation Methodology, Biometric Evaluation Methodology Supplement (V1.0, 2002). • Biometric Working Group: • Best Practices in Testing and Reporting Performance of Biometric Devices (V2.01, 2002).

8. Técnicas Biométricas Aplicadas a la Seguridad Índice Exposición • Introducción. • Planificando la Evaluación. 2.1 Introducción. 2.2 Aspectos a Definir. • Los Datos. • Medida del Rendimiento. • Análisis Estadístico. • Bibliografía.

9. Técnicas Biométricas Aplicadas a la Seguridad 2.1 Planificando: Introducción • Definición de aspectos que condicionan: • Ámbito de aplicación. • Alcance. • La adquisición de los datos. • Alcance de los rendimientos obtenidos.

10. Técnicas Biométricas Aplicadas a la Seguridad 2.1 Planificando: Introducción • Decisiones condicionadas por: • El sistema. • Ej. Tiene o no dispositivos de almacenamiento. • El entorno de aplicación. • Ej. Voz: vía teléfono - vía micrófono. • El fabricante del dispositivo. • Ej. Proporciona o no SDK. • El ámbito del estudio. • Ej. Tecnológico, de escenario u operacional. • Aspectos cuya influencia se quiere analizar. • Ej. Ruido de fondo, condiciones de iluminación, ...

11. Técnicas Biométricas Aplicadas a la Seguridad 2.1 Planificando: Introducción • Definiciones: • Muestra: rasgo biométrico capturado. • Ej. Imagen huella dactilar o de la cara. • Patrón: referencia almacenada del usuario • Muestras de entrenamiento. • Parámetros del clasificador. • Inscripción: proceso de añadir nuevos usuarios • Operación: intento por parte del usuario de validación o identificación de su identidad. • Se pueden usar una o más muestras.

12. Técnicas Biométricas Aplicadas a la Seguridad 2.2 Planificando: Aspectos a Definir 1. Clasificación de la muestra (I): Online la inscripción o la clasificación se realiza en el momento de la captura • No es necesario almacenar los datos. • Se aconseja: permite su tratamiento posterior. • Si no es posible: medidas más completas si se toman decisiones con distintos niveles de seguridad.

13. Técnicas Biométricas Aplicadas a la Seguridad 2.2 Planificando: Aspectos a Definir 1. Clasificación de la muestra (II): Offline la inscripción o la clasificación se realiza con muestras previamente grabadas • Mayor control y versatilidad en las pruebas. • Coste pequeño al modificar la evaluación. • Problema: definir la adquisición. El número y características de los datos tomados condiciona: • Las pruebas a realizar. • La fiabilidad de los resultados medidos. • El alcance del rendimiento observado.

14. Técnicas Biométricas Aplicadas a la Seguridad 2.2 Planificando: Aspectos a Definir 2. Tipo de evaluación (I): Tecnológica El objetivo es medir el estado de la tecnología, determinar el progreso que ésta ha logrado e identificar lo enfoques más prometedores • Más general. • Offline: completamente repetible. • Tarea a abordar: ni muy fácil, ni muy difícil. • Sólo así habrá separación entre sistemas. • Bases de datos: no vistas de antemano. • Evaluaciones estándar: FVC, NIST (voz, caras). • Bases de datos usadas: estándares de hecho. • A tener en cuenta: sesgos debido a los sensores

15. Técnicas Biométricas Aplicadas a la Seguridad 2.2 Planificando: Aspectos a Definir 2. Tipo de evaluación (II): De Escenario El objetivo es determinar si la tecnología está suficientemente madura como para cumplir los requisitos de una determinada aplicación • Medida del rendimiento: en escenario prototipo. • Modela un determinado campo de aplicación. • Se extiende a todo el sistema. • No sólo clasificación, también etapa de captura. • Sensores captura distintos  muestras distintas • Aconsejable: probar combinaciones sensores - algoritmos reconocimiento. • Ej.: coordina NPL, patrocina CESG (UK).

16. Técnicas Biométricas Aplicadas a la Seguridad 2.2 Planificando: Aspectos a Definir 2. Tipo de evaluación (II): Operacional El objetivo es analizar si un sistema biométrico concreto, cumplo los requisitos de una determinada aplicación concreta • Similar a la de escenario, pero para un sistema concreto y en un entorno de uso real. • Puede ser online u offline.

17. Técnicas Biométricas Aplicadas a la Seguridad 2.2 Planificando: Aspectos a Definir 3. Tarea a abordar (I): Verificación Se trata de autentificar la identidad reclamada por el usuario • Comparación muestra/s - patrón usuario. • Respuesta: identidad reclamada/rechazada. • Ej. de uso: acceso a servicio de uso personal (ordenador, cuenta bancaria, etc.)

18. Técnicas Biométricas Aplicadas a la Seguridad 2.2 Planificando: Aspectos a Definir 3. Tarea a abordar (II): Identificación Positiva: Se trata de comprobar que un usuario que reclama estar inscrito, lo está Ej. uso: control de acceso a lugares restringidos. Negativa: Se trata de comprobar que un usuario que reclama no estar inscrito, no lo está Ej. uso: evitar dobles inscripciones en servicios, ej. desempleo. • Comparación muestra - patrones todos usuarios • O pertenecientes a una determinada partición. • Reclamación identidad: • Implícita, sin dar identidad. • Explícita, proporcionando la identidad.

19. Técnicas Biométricas Aplicadas a la Seguridad 2.2 Planificando: Aspectos a Definir 4. Factores que afectan al rendimiento: Análisis • Buscando: • Cuáles son poco relevantes: control no importante • Cuáles afectan a la medida del rendimiento: • Se Fijan de antemano sus valores. • Se diseñan las pruebas de modo que se pueda medir su influencia en el sistema. • Prever potenciales problemas: anticipar controles. • Identificar casos excepcionales que puedan ser interesantes a considerar en las pruebas.

20. Técnicas Biométricas Aplicadas a la Seguridad 2.2 Planificando: Aspectos a Definir 4. Factores que afectan al rendimiento: Tipos • Inherentes a la tecnología o al dispositivo: • Ajenos al dispositivo. Destacar: • Tiempo transcurrido entre inscripción-prueba. • Composición de la población bajo estudio. Parámetro biométrico Factor ambiental

21. Técnicas Biométricas Aplicadas a la Seguridad 2.2 Planificando: Aspectos a Definir 5. Políticas de inscripción/operación. • A tener en cuenta en inscripción: • Número de muestras usadas para crear el patrón. • Número y separación entre sesiones. • Permitir o no actualizar el patrón con muestras rechazadas. • Si se permite validación del patrón: los resultados no se deben incluir en la prueba. • A tener en cuenta en operación: • Número de muestras usadas para la decisión. • A tener en cuenta en ambas: • Controlar o no la calidad de la muestra adquirida.

22. Técnicas Biométricas Aplicadas a la Seguridad Índice Exposición • Introducción. • Planificando la Evaluación. • Los Datos. 3.1 Introducción. 3.2 Datos del Cliente. 3.3 Datos de Impostores. 3.3.1 Impostores Genuinos. 3.3.2 Impostores Simulados. 3.4 El tamaño de la Prueba. • Medida del Rendimiento. • Análisis Estadístico de los Resultados. • Bibliografía.

23. Técnicas Biométricas Aplicadas a la Seguridad 3.1 Los Datos: Introducción • Idealmente: habría que realizar pruebas sobre todo posible usuario. • Imposible en la práctica.  • Pruebas a realizar sobre un subconjunto. • Alcance de la evaluación. • Confianza en las medidas del rendimiento. Composición y datos adquiridos condicionan

24. Técnicas Biométricas Aplicadas a la Seguridad 3.1 Los Datos: Introducción • Consideraciones generales: • No es aconsejable el uso de muestras creadas artificialmente, tanto en lo que se refiere a la muestra, como a las condiciones de adquisición. • Resultados no extrapolables a la realidad. • Cuidado con errores como dobles inscripciones, inconsistencias muestras-individuo o muestras incorrectas. • Es conveniente automatizar la adquisición. • Se evita la subjetividad del operador humano. • Datos más libres de errores. • Adquisición más cercana a la real.

25. Técnicas Biométricas Aplicadas a la Seguridad 3.1 Los Datos: Introducción • Elementos importantes a tener en cuenta: • Entorno de la adquisición. • Iluminación, ruido de fondo, tipo de sensor, ... • Composición de la población. • Evaluación tecnológica: • Suficientemente genéricos y representativos para permitir comparaciones objetivas. • Evaluación de escenario y operacional: • Representativos de la aplicación a estudio. • Casos especiales: correctamente representados. • Evitar sesgos en los resultados.

26. Técnicas Biométricas Aplicadas a la Seguridad 3.1 Los Datos: Introducción • Definiciones: • Intento auténtico: la muestra a clasificar pertenece al propietario del patrón con el que compara. • Intento impostor: la muestra a clasificar no pertenece al propietario del patrón con el que compara. • Cliente: usuario inscrito. • Impostor: usuario que se hace pasar por cliente. • Activo: trata de imitar al cliente. • Pasivo: no trata de imitar al cliente.

27. Técnicas Biométricas Aplicadas a la Seguridad 3.2 Los Datos: Cliente • Problema: envejecimiento del patrón. El rendimiento del sistema decrece cuanto mayor es el tiempo transcurrido entre la inscripción y la operación • Hay que realizar pruebas con datos adquiridos con una separación “suficiente” en el tiempo. • “Suficiente”: • Imposible de obtener de forma exacta. • Aproximación: tiempo necesario para que sane esa parte del cuerpo. • Si está definido: recoger muestras con la misma frecuencia que en el uso real del sistema.

28. Técnicas Biométricas Aplicadas a la Seguridad 3.3 Los Datos: Impostores • Formas de operar: • Impostores genuinos: datos provenientes de usuarios diferentes a los clientes, y adquiridas ex profeso para ese fin. • Impostores simulados: se usan muestras de otros clientes.

29. Técnicas Biométricas Aplicadas a la Seguridad 3.3.1 Los Datos: Impostores Genuinos • Forma más realista de evaluar el sistema. • Mayor control sobre la definición de operaciones. • No siempre posible en la realidad. • Recomendable: adquirir un número alto de datos, y elegir aleatoriamente las pruebas por cliente. • Diferente modo de adquisición: pasivos/activos. • Condiciones de adquisición: las mismas que las de los clientes. • No es aconsejable usar bases de datos distintas. • No usar muestras usadas para crear el clasificador.

30. Técnicas Biométricas Aplicadas a la Seguridad 3.3.2 Los Datos: Impostores Simulados • Formas de operar: • Selección aleatoria de un subconjunto por cliente. • Realizar comparaciones cruzadas completas. • Usando muestras entrenamiento y/o prueba. • Problema: pruebas de impostores activos.

31. Técnicas Biométricas Aplicadas a la Seguridad 3.4 Los Datos: Tamaño de la Prueba • Consideraciones generales: • Definido por: número de voluntario e intentos. • Fija la confianza en la estimación del error medida. • Problema: tamaño mínimo que asegure un nivel prefijado de confianza

32. Técnicas Biométricas Aplicadas a la Seguridad 3.4 Los Datos: Tamaño de la Prueba • Solución 1: Regla del 3 [Mansfield y Wayman, 2002][Jovanic y Levy, 1997] • Suposiciones: • Pruebas estadísticamente independientes. • Probabilidad de error p igual en todas ellas. • Distribución de errores observados: binomial • Establece: la probabilidad de error p mínima que permite asegurar con una confianza del 95% que en N ensayos se pueden tener 0 errores es 3/N. • Ej.: 95% confianza de que p=0.01, es necesario, como mínimo, 300 pruebas sin error.

33. Técnicas Biométricas Aplicadas a la Seguridad 3.4 Los Datos: Tamaño de la Prueba • Solución 2: Regla del 30 (Doddington) [Doddington,1998][Porter,2000] • Mismas suposiciones anteriores. • Establece: para tener un 90% de confianza de que la tasa de error verdadera está dentro del 30% de la tasa de error observada, debe haber al menos 30 errores. Ej.: Si tenemos 30 errores en 3000 pruebas  Con un 90% de confianza el error estará entre 0.7% y 1.3%

34. Técnicas Biométricas Aplicadas a la Seguridad 3.4 Los Datos: Tamaño de la Prueba • Problemas en las suposiciones anteriores: • Independencia estadística entre pruebas, no se puede asegurar si: • Cada muestra de prueba no pertenece a un individuo distinto. • Se simulan operaciones de impostores mediante comparaciones cruzadas completas. • Igual distribución de errores. La realidad demuestra los siguientes comportamientos: • “Oveja”: comportamiento normal. • “Cabra”: personas difíciles de reconocer. PFalsoRechazo alta. • “Cordero”: personas fáciles de imitar. PFalsaAceptación alta. • “Lobo”: personas con facilidad para hacerse pasar por otras. PFalsaAceptación alta.

35. Técnicas Biométricas Aplicadas a la Seguridad 3.4 Los Datos: Tamaño de la Prueba • Conclusión • Reglas anteriores: difícil aplicación práctica. • Se usan como referencia. • Recomendaciones [Best Practices]: • Número de voluntarios tan grande como se pueda: cuanto mayor sea menor será el intervalo de confianza sobre la estimación del error medida. • Adquirir suficientes muestras por voluntario, tal que el número de pruebas exceda el requerido por la regla del 3 o del 30, la que sea adecuada. • Calcular la confianza sobre la medida del error estimada.

36. Técnicas Biométricas Aplicadas a la Seguridad Índice Exposición • Introducción. • Planificando la Evaluación. • Los Datos. • Medida del Rendimiento. 4.1 Introducción. 4.2 Validación de la Muestra. 4.3 Clasificación de la Muestra. 4.4 El Algoritmo de Partición. 4.5 Decisión Final. 4.6 Productividad. • Análisis Estadístico de los Resultados. • Bibliografía.

37. Técnicas Biométricas Aplicadas a la Seguridad extracción de características vector de características sensor muestra patrón no válida Validación válida resultado del clasificador clasificación decisión final decisión sobre la muestra coincide / no coincide con el patrón aceptado / rechazado 4.1 Rendimiento: Introducción • Esquema de un sistema biométrico Parámetro biométrico

38. Técnicas Biométricas Aplicadas a la Seguridad 4.2 Rendimiento: Validación • Errores. • Tasa de Fallos en Inscripción (TFI): proporción de voluntarios que no han sido inscritos en el sistema. • Tasa de Fallos en Operación (TFO): proporción de operaciones (tanto del cliente, como de impostores) que no han podido ser completadas.

39. Técnicas Biométricas Aplicadas a la Seguridad 4.3 Rendimiento: Clasificación • Errores. • Tasa de Falsos Positivos (TFP) (False Match Rate, FMR): probabilidad esperada de que una muestra de un usuario sea incorrectamente clasificada como coincidente con el patrón de otro usuario. • Se estima: proporción de muestras falsamente asignadas a un cliente al que no pertenecen. • Tasa de Falsos Negativos (TFN) (False Non Match Rate, FNMR): probabilidad esperada de que una muestra de un usuario sea incorrectamente clasificada como no coincidente con el patrón de ese usuario. • Se estima: proporción de muestras del cliente falsamente rechazadas como no pertenecientes a él.

40. Técnicas Biométricas Aplicadas a la Seguridad 4.3 Rendimiento: Clasificación • Tasas de error centradas en el algoritmo. • Independientes de la política de decisión final. • Las normalmente usadas en la evaluación tecnológica. • Cálculo aconsejable siempre. • Resultados etapa clasificación: distribución típica. • Solapamiento  imposible 100% aciertos. • El rendimiento depende del umbral de decisión. Impostores Cliente Resultado clasificador

41. Técnicas Biométricas Aplicadas a la Seguridad 4.3 Rendimiento: Clasificación • Representación gráfica del rendimiento: Características • Muestran los valores de la TFP y la TFN para diversos umbrales de decisión (puntos de funcionamiento). • Permiten una visualización global del rendimiento. • Permiten una comparación objetiva ente sistemas.

42. Técnicas Biométricas Aplicadas a la Seguridad 4.3 Rendimiento: Clasificación • Representación gráfica del rendimiento: Curvas ROC. (Receiver Operating Characteristics) • Muestran la variación de la TFP (eje X), con respecto a la tasa de “verdaderos positivos” (1-TFN) en el eje Y, para distintos umbrales de decisión. • El eje Y y la recta y=100 pueden ser consideradas las asíntotas de la curva: cuanto más se acerque ésta a ellas mejor es el rendimiento del sistema. Tasa de Verdaderos Positivos (%) Tasa de Falsos Positivos (%)

43. Técnicas Biométricas Aplicadas a la Seguridad 4.3 Rendimiento: Clasificación • Representación gráfica del rendimiento: Curvas DET. (Detection Error Tradeoff) [Martin et al., 1997] • Representa el número de desviaciones normales en la distribución normal estandarizada (media 0 y varianza 1) correspondiente a la TFP (eje X) y a la TFN (eje Y). • La escala original se cambia por la correspondiente probabilidad. • Representación casi lineal. • Comparación más clara y fácil. • Distancia entre curvas: diferencia entre rendimientos. • Cuanto más cercana a la recta, más se acerca la distribución de resultados a la normal. Tasa de Falsos Negativos (%) Tasa de Falsos Positivos (%)

44. Técnicas Biométricas Aplicadas a la Seguridad 4.3 Rendimiento: Clasificación • El sistema en un número. • Se resume el rendimiento del sistema en un solo valor: se escoge un punto de funcionamiento característico. • Comparación más fácil que con las anteriores. • Representación del rendimiento menos completa. • Medidas más usadas: • Tasa de Equierror (TEE) (Equal Error Rate, EER): punto donde se igualan la TFN y la TFP. • Medida muy popular. • Coste de Detección (Detection Cost, Cdet): Cdet = cfn·TFN·Pcliente + cfp·TFp·(1-Pcliente) • cfn y cfp los costes de los errores correspondientes. • Pcliente y (1-Pcliente) las prob. a priori de cliente e impostor • Ej. NIST: cfn=10, cfp=1 y Pcliente=0.01.

45. Técnicas Biométricas Aplicadas a la Seguridad 4.3 Rendimiento: Clasificación • Dependencia con los errores de la etapa anterior. Cuanto mayor sea la exigencia con respecto a la calidad de la muestra, mayor será la probabilidad de fallos en operación, pero menor será la probabilidad de errores en clasificación.

46. Técnicas Biométricas Aplicadas a la Seguridad 4.4 Rendimiento: Algoritmo de Partición • Medidas de eficacia. • Rango de Penetración (RP) [James y James,2000]: proporción esperada de comparaciones a realizar sobre cada muestra, con respecto al número total de patrones, bajo la condición de comparación con todos los patrones de la partición asignada. • Cálculo: número medio de comparaciones por muestra, dividido entre el número total de patrones. • Cuanto menor sea RP, respuesta más rápida del sistema. • Tasa de Error en la Asignación de la Partición(TEAP): proporción de asignaciones erróneas.

47. Técnicas Biométricas Aplicadas a la Seguridad 4.4 Rendimiento: Algoritmo de Partición • Relación entre ambas medidas. • Cuanto mayor sea el número de particiones, menor será el RP, pero mayor será la TEAP, y a la inversa. • RP/TEAP=f(parámetros del algoritmo de partición). • Representación de esa relación: curvas ROC y DET, por ej.

48. Técnicas Biométricas Aplicadas a la Seguridad 4.5 Rendimiento: Decisión Final • Errores. • Tasa de Falsas Aceptaciones (TFA): proporción de operaciones con identidad o no identidad falsamente reclamada que son incorrectamente confirmadas. • Error de tipo II. • Identificación positiva y verificación: identidad falsamente asignada a un individuo. • Identificación negativa: rechazo de un usuario inscrito. • Tasa de Falsos Rechazos (TFR): proporción de operaciones con identidad o no identidad correctamente reclamada que son incorrectamente rechazadas. • Error tipo I • Identificación positiva y verificación: cliente rechazado. • Identificación negativa: sí inscrito un usuario no inscrito.

49. Técnicas Biométricas Aplicadas a la Seguridad 4.5 Rendimiento: Decisión Final • Relación con errores anteriores. • TFP/TFN: def. para comparaciones sobre cada muestra • TFA/TFR: definidas sobre operaciones • Ej. verificación de usuario basada en 3 intentos: Falso Rechazo cada vez que tengamos 3 Falsos Negativos. • TFA/TFR dependen de los anteriores. • Ej. Decisión final basada en muestra única y operaciones de impostores simuladas mediante comparación cruzada completa con las muestras de prueba de cada cliente. TFA=(1-TFO)·RP·TFP TFR=TFO + (1-TFO)·TEAP + (1-TFO)·(1-TEAP)·TFN • Dependencia de TFA/TFR con el umbral: se representa igual que para TFP/TPN. 

50. Técnicas Biométricas Aplicadas a la Seguridad 4.6 Rendimiento: Productividad • Medidas de la productividad del sistema. • Procesamiento en tiempo real: número medio de inscripciones y número medio de operaciones por unidad de tiempo. • Procesamiento posterior a la adquisición de la muestra: tiempo medio por cliente del algoritmo de creación de patrones y tiempo medio por operación del algoritmo de clasificación. • Medidas interesantes desde el punto de vista práctico.