Semana_09_Verificación_validación_sistemas_expertos.pptx

XCXVCXBVCBNXCBZXVXVzXV

1. Verificación y validación de sistemas expertos

2. La verificación y validación son etapas esenciales en el desarrollo de los sistemas expertos , ya que garantizan que estos funcionen correctamente y cumplan con los objetivos para los cuales fueron diseñados. En el contexto de la Ingeniería del Conocimiento , estos procesos aseguran que el conocimiento adquirido de los expertos humanos haya sido representado, implementado y aplicado de forma precisa, coherente y confiable dentro del sistema. La verificación se centra en comprobar si el sistema está correctamente construido , es decir, si la estructura lógica de las reglas, la base de conocimiento y el motor de inferencia funcionan sin errores ni contradicciones. En cambio, la validación evalúa si el sistema hace lo que debe hacer , verificando que sus resultados sean correctos, útiles y acordes con las decisiones que tomaría un experto humano en el mismo dominio. Introducción a la Ingeniería del Conocimiento

3. Introducción a la Ingeniería del Conocimiento Estos dos procesos son indispensables para garantizar la calidad, confiabilidad y aceptación del sistema experto antes de su implementación práctica. Un sistema puede estar técnicamente bien diseñado, pero si sus conclusiones no reflejan la realidad del problema o las necesidades del usuario, carece de valor operativo. En síntesis, la verificación y validación permiten asegurar que los sistemas expertos sean efectivos, precisos y seguros , fortaleciendo la confianza de los usuarios en sus resultados y consolidando su papel como herramientas de apoyo inteligente a la toma de decisiones en diversas áreas del conocimiento, como la ingeniería, la medicina, la educación o la gestión empresarial.

4. Verificación y Validación de Sistemas Expertos La verificación y validación (V&V) son etapas críticas en el desarrollo de sistemas expertos, cuyo propósito es asegurar la calidad, confiabilidad y utilidad del conocimiento incorporado en el sistema. En términos simples: Verificación responde a la pregunta “¿Está bien construido el sistema?”, mientras que Validación responde a “¿El sistema hace lo que realmente debe hacer?” Estas fases garantizan que el sistema experto funcione correctamente, sin errores lógicos ni inconsistencias, y que sus resultados sean válidos, precisos y útiles para los usuarios o expertos del dominio.

5. Verificación y Validación de Sistemas Expertos Importancia de la verificación y validación Los sistemas expertos dependen de bases de conocimiento complejas y mecanismos de inferencia. Un pequeño error en una regla o relación puede provocar conclusiones incorrectas o peligrosas, especialmente en áreas críticas como la medicina, la ingeniería o la seguridad industrial. Por ello, la verificación y validación permiten: Detectar errores, omisiones o redundancias en las reglas de conocimiento. Asegurar la coherencia lógica del sistema. Confirmar que el sistema responde adecuadamente a casos reales. Generar confianza en los usuarios y expertos que lo utilizan.

6. Verificación y Validación de Sistemas Expertos Etapas de la verificación y validación El proceso de V&V se desarrolla en dos niveles complementarios: A. Verificación (¿Está bien construido?) La verificación evalúa el correcto funcionamiento técnico y lógico del sistema experto, sin considerar aún su desempeño en el mundo real. Busca garantizar que la implementación sea coherente con el diseño del conocimiento.

7. Verificación y Validación de Sistemas Expertos Principales aspectos que se verifican : Coherencia de las reglas: no deben existir contradicciones entre ellas. Integridad del conocimiento: todas las reglas necesarias deben estar presentes. Ausencia de redundancias: eliminar duplicaciones o inferencias innecesarias. Correcta codificación: las reglas se aplican en el orden y formato adecuados. Funcionamiento del motor de inferencia: las conclusiones se derivan de manera lógica.

8. Verificación y Validación de Sistemas Expertos Técnicas comunes de verificación: Revisión manual por parte de expertos. Comprobación automática de inconsistencias en la base de conocimiento. Simulación de inferencias paso a paso (“ trazabilidad del razonamiento ”). Herramientas de debugging y depuración lógica. Ejemplo: Detectar que dos reglas del sistema dan conclusiones opuestas ante la misma entrada.

9. Verificación y Validación de Sistemas Expertos B. Validación (¿Está haciendo lo correcto?) La validación evalúa si el sistema experto cumple realmente su propósito y si sus resultados coinciden con las decisiones que tomaría un experto humano . Es decir, mide la precisión y utilidad del sistema en situaciones reales o simuladas.

10. Verificación y Validación de Sistemas Expertos Aspectos clave de la validación: Exactitud: las conclusiones coinciden con las de los expertos humanos. Relevancia: las recomendaciones o diagnósticos son útiles y aplicables. Cobertura: el sistema maneja correctamente todos los casos previstos. Desempeño: el sistema responde con rapidez y consistencia. Aceptación del usuario: los expertos confían y utilizan los resultados del sistema.

11. Verificación y Validación de Sistemas Expertos Técnicas comunes de validación: Comparar resultados del sistema con decisiones de expertos humanos. Probar el sistema con casos históricos o de prueba. Evaluar el sistema en entornos reales de operación (validación en campo). Retroalimentación directa de usuarios y expertos del dominio. Ejemplo: Un sistema experto médico es validado si, al analizar 100 casos clínicos reales, acierta en al menos el 95% de los diagnósticos comparados con los de los médicos especialistas.

12. Criterio Verificación Validación Pregunta clave ¿Está bien construido el sistema? ¿Hace lo correcto el sistema? Enfoque Interno, técnico y lógico. Externo, funcional y práctico. Responsables Ingenieros del conocimiento y programadores. Expertos del dominio y usuarios finales. Objetivo Asegurar la calidad del diseño y la codificación. Comprobar la utilidad y precisión de los resultados. Método Revisión de reglas, consistencia y estructura. Pruebas con datos reales o simulados. Resultado esperado Sistema libre de errores técnicos. Sistema que cumple su propósito y satisface al usuario. Diferencias entre verificación y validación

13. Verificación y Validación de Sistemas Expertos Proceso integral de V&V en sistemas expertos: Revisión del conocimiento adquirido. Validar con el experto que las reglas y conceptos son correctos. Análisis de consistencia lógica. Detectar contradicciones o lagunas en la base de conocimiento. Pruebas de inferencia. Ejecutar casos simples para verificar el razonamiento. Pruebas funcionales. Evaluar resultados con casos reales de operación. Retroalimentación y ajuste. Incorporar correcciones hasta alcanzar la confiabilidad esperada.

14. Verificación y Validación de Sistemas Expertos Ejemplo práctico Caso: Un sistema experto diseñado para diagnosticar fallas en calderas industriales debe ser verificado y validado antes de su implementación. Verificación: Los ingenieros revisan las 200 reglas del sistema y descubren 3 reglas redundantes y una inconsistente. Se corrigen y se ejecutan pruebas de inferencia paso a paso.

15. Verificación y Validación de Sistemas Expertos Ejemplo práctico Validación: Se comparan los diagnósticos del sistema con los de tres técnicos expertos frente a 50 casos reales. El sistema acierta en el 46 de 50 casos (92% de precisión), por lo que se considera válido para su uso operativo. Resultado: El sistema es confiable, preciso y consistente con el conocimiento humano.

16. Verificación y Validación de Sistemas Expertos Conclusión La verificación y validación son etapas fundamentales en el desarrollo de sistemas expertos, ya que garantizan su confiabilidad, precisión y aceptación . Un sistema experto no solo debe estar correctamente diseñado (verificado), sino también probar su efectividad en la práctica (validado). Estos procesos aseguran que la base de conocimiento sea sólida, coherente y útil , permitiendo que el sistema apoye la toma de decisiones con la misma calidad y criterio que un experto humano . En resumen: Verificar es construir correctamente; validar es construir lo correcto.

17. Caso Práctico: Verificación y Validación de un Sistema Experto para Diagnóstico de Calderas Industriales Contexto general: La empresa TERMODINÁMICA S.A. , dedicada al mantenimiento y operación de calderas industriales , decidió implementar un sistema experto para diagnosticar fallas operativas de sus equipos. El objetivo principal era reducir el tiempo de diagnóstico , disminuir errores humanos y estandarizar los criterios técnicos utilizados por los ingenieros y técnicos de campo. El sistema fue desarrollado utilizando técnicas de Ingeniería del Conocimiento , con una base de conocimiento compuesta por más de 200 reglas derivadas de entrevistas con expertos en combustión, instrumentación y mantenimiento térmico. Antes de ponerlo en funcionamiento, el equipo de desarrollo debía realizar las etapas de verificación y validación , para garantizar que el sistema fuera correcto, confiable y útil en la práctica.

18. Caso Práctico: Verificación y Validación de un Sistema Experto para Diagnóstico de Calderas Industriales Verificación del sistema experto: Objetivo: Comprobar que el sistema esté correctamente construido , libre de errores lógicos o inconsistencias, y que sus reglas estén correctamente implementadas.

19. Etapa de verificación Descripción Resultado Revisión de reglas Se analizan las 200 reglas para detectar redundancias, contradicciones o errores sintácticos. Se eliminaron 12 reglas redundantes y se corrigieron 5 inconsistencias. Simulación paso a paso (trazabilidad) Se ejecutan inferencias con casos de prueba para observar cómo el sistema aplica las reglas. Las conclusiones coinciden con la lógica esperada. Prueba del motor de inferencia Se revisa que el motor procese correctamente las condiciones y conclusiones (SI... ENTONCES). El motor de inferencia funciona de forma estable. Revisión estructural del conocimiento Se valida la jerarquía de causas, síntomas y acciones correctivas. No se detectaron errores de jerarquía ni bucles lógicos. Actividades realizadas:

20. Caso Práctico: Verificación y Validación de un Sistema Experto para Diagnóstico de Calderas Industriales Resultado de la verificación: El sistema fue internamente consistente y técnicamente correcto . La base de conocimiento y el motor de inferencia funcionaron sin errores lógicos ni estructurales. 2. Validación del sistema experto Objetivo: Comprobar que el sistema cumpla su propósito real , entregando resultados coherentes, útiles y comparables con los diagnósticos de expertos humanos.

21. Caso Práctico: Verificación y Validación de un Sistema Experto para Diagnóstico de Calderas Industriales Procedimiento: Selección de casos reales: Se utilizaron 50 casos de fallas históricas documentadas en plantas de vapor. Comparación de resultados: Cada caso fue evaluado tanto por el sistema experto como por tres ingenieros especialistas en mantenimiento de calderas. Criterios de evaluación: Exactitud del diagnóstico. Tiempo de respuesta. Coincidencia con la decisión del experto. Nivel de confianza del usuario.

22. Caso Práctico: Verificación y Validación de un Sistema Experto para Diagnóstico de Calderas Industriales Indicador Antes del sistema (técnico humano) Con sistema experto Mejora (%) Tiempo promedio de diagnóstico 45 minutos 20 minutos 55% Precisión en identificación de fallas 78% 92% +14% Uniformidad en los diagnósticos Variable según el técnico Consistente — Nivel de satisfacción del usuario — 9.2 / 10 — Resultados de la validación:

23. Caso Práctico: Verificación y Validación de un Sistema Experto para Diagnóstico de Calderas Industriales Conclusión de la validación: El sistema logró diagnósticos correctos en 46 de los 50 casos evaluados (92%) , redujo significativamente los tiempos de análisis y fue bien aceptado por los técnicos de planta. Se consideró válido para su implementación operativa , con la recomendación de ampliar su base de conocimiento en futuras versiones.

24. Caso Práctico: Verificación y Validación de un Sistema Experto para Diagnóstico de Calderas Industriales 3. Retroalimentación y mejoras posteriores: A partir de los resultados de verificación y validación, se realizaron las siguientes acciones correctivas y preventivas: Se reorganizaron las reglas redundantes y se documentaron los cambios. Se incorporó un módulo de autoaprendizaje , para registrar nuevos casos reales y ajustar el conocimiento. Se actualizó la interfaz de usuario , facilitando la entrada de datos por parte de los técnicos. Se estableció un proceso semestral de revisión del conocimiento con los expertos del área.

25. Caso Práctico: Verificación y Validación de un Sistema Experto para Diagnóstico de Calderas Industriales 4. Conclusión del caso práctico: El proceso de verificación y validación permitió confirmar que el sistema experto de diagnóstico de calderas era técnicamente correcto, funcionalmente confiable y operacionalmente útil . Gracias a este proceso, la empresa logró: Reducir los tiempos de diagnóstico en un 55%. Aumentar la precisión de los resultados a más del 90%. Estandarizar el conocimiento técnico en toda la organización. La verificación y validación son pasos esenciales para garantizar que un sistema experto no solo esté bien diseñado, sino que también cumpla eficazmente su propósito en el mundo real , asegurando su calidad, credibilidad y sostenibilidad a largo plazo.

26. Verificación y Validación de Sistemas Expertos