Documentar la evaluación

El proceso de evaluación es, sin ninguna duda, el punto más crítico de todo el proceso. De cada actividad de evaluación, cualquiera que sea la técnica utilizada, la fase en la que se ha realizado o el prototipo evaluado, se obtiene una colección de datos de naturaleza diversa que deben trasladarse al siguiente ciclo del desarrollo del sistema, de lo contrario de nada serviría haber realizado dicha actividad.

Así que tras cada evaluación debemos ser capaces de gestionar la información obtenida para documentar el progreso realizado durante las diferentes iteraciones al modelo de proceso MPIU+a.

Para ello no hace falta inventar nada nuevo, tan necesario es aplicar el conocimiento como el proceso descrito en el estándar ISO 13407 [ISO99, punto 7.5.7 Reporting the results, págs. 11-12 y Anexo B Example of a structure of a usbility evluation report, págs. 17-19].

Este punto del estándar remarca como una necesidad que la documentación relacionada con las distintas evaluaciones debe evidenciar:

  1. Para aquellos métodos en que sea aplicable, el número adecuado de usuarios y/o implicados y su grado de representatividad en relación al contexto de uso.
  2. El número de objetivos centrados en el usuario que se ha evaluado.
  3. La conformidad del método así como los datos recogidos tras cada evaluación.
  4. El tratamiento de los resultados. Para verificar si se ha realizado apropiadamente.

En el mismo estándar se describen tres maneras distintas de documentar la evaluación que pueden resultar más o menos útiles en función de si la evaluación está focalizada a la realimentación en el diseño, a contrastar con estándares específicos o a verificar la consecución de ciertos objetivos centrados en las personas (términos específicamente relacionados con los objetivos de usabilidad de salud o de seguridad):

  • La documentación focalizada a la realimentación en el diseño deberá:
    • Tener lugar en el momento apropiado durante el proceso de desarrollo (de lo contrario, no será efectiva).
    • Basarse en fuentes de evaluación apropiadas (usuarios, revisiones de diseño…).
    • Proporcionar realimentación para el diseño en forma de decisiones.
    • Indicar dónde se deben aplicar los cambios en el sistema.
  • La documentación focalizada a contrastar con estándares específicos deberá:
    • Identificar los estándares relevantes e indicar la base de su utilización.
    • Evidenciar que la valoración la ha conducido una persona competente con el estándar relacionado que ha utilizado procedimientos adecuados.
    • Evidenciar que se han probado suficientes partes del sistema como para dar resultados representativos.
    • Evidenciar que se han probado suficientes partes del sistema como para dar resultados representativos.
    • Justificar cualquier desviación.
  • La documentación focalizada a la consecución de objetivos centrados en las personas deberá:
    • Definir el contexto de uso donde se ha realizado la evaluación.
    • Adjuntar información relacionada con los requisitos del usuario y su organización.
    • Describir el producto probado y su estatus (tipo de prototipo…).
    • Describir las medidas realizadas, así como los usuarios y los métodos utilizados.
    • Aportar resultados con datos estadísticos relevantes.
    • Indicar las decisiones de aceptación o de rechazo de acorde con los requisitos.

Recomendado