RECUPERACIÓN Y ORGANIZACIÓN DE LA INFORMACIÓN

Evaluación de los sistemas QA


En la actualidad existen foros de evaluación de los sistemas Question-Answering que persiguen los siguientes objetivos:

  • Estimular la investigación
  • Marcar líneas de trabajo comunes
  • Generar recursos de evaluación (y de entrenamiento)
  • Poder comparar diferentes aproximaciones
  • Proporcionar un punto de encuentro, colaboración e intercambio

Para llevar a cabo el estudio pertinente para la evaluación de los sistemas Question-Answering se debe seguir la siguiente metodología

  • Generar preguntas sobre una colección
  • Obtener respuestas de los sistemas participantes
  • Juzgar las respuestas clasificándolas en distintos grupos: Incorrecta, No soportada, Inexacta, Correcta
  • Medir el comportamiento atendiendo a los siguientes criterios:
  • Número de preguntas respondidas correctamente
  • Número de preguntas sin respuesta correctamente detectadas
  • MRR (Mean Reciprocal Rank): Medida del inverso de cada posición de cada respuesta correcta
  • Comparar resultados entre sistemas

Se pueden destacar distintos foros de evaluación de sistemas Question-Answering:

CLEF (acrónimo de Cross Language Evaluation Forum) es el foro europeo más importante para la evaluación de sistemas de recuperación multilingüe y multimedia. Rivaliza a nivel mundial con TREC (Text Retrieval Conference) en Norteamérica y NTCIR (NII Test Collection for IR Systems) en Asia. A diferencia de TREC, que se centra en las técnicas de recuperación de información sobre el idioma inglés, y de NTCIR, centrado en los idiomas asiáticos como el japonés, chino y coreano, el objetivo de CLEF es la investigación en un gran número de idiomas (europeos y no europeos) y en las técnicas de recuperación cross-lingual, es decir, cuando el idioma de la consulta es diferente del de la colección de documentos en la que se busca. El objetivo final es promover y estimular el desarrollo de las tecnologías de recuperación de información en Europa para garantizar su competitividad en un ámbito mundial


Recuperacion y Acceso a la Información - 2008
[Valid RSS] [Valid Atom 1.0] Valid XHTML 1.0 Strict ¡CSS Válido! Test TAW AAA