Evaluación Heurística

La «Heurística» es un método de evaluación de sistemas interactivos desarrollado por NIELSEN [NIE94a] y MOLICH [MOL90] que consiste en analizar (mediante la inspección de varios evaluadores expertos) la calidad de uso de una interfaz a partir de comprobar su conformidad respecto unos principios reconocidos de usabilidad.

Utiliza la plantilla EVALUACIÓN HEURÍSTICA del grupo GRIHO (v2021)

10 Usability Heuristics explained from Craft Design

Para ello, un conjunto de evaluadores expertos en usabilidad contrasta y valida individualmente el conjunto de reglas (o heurísticas, o guidelines) escogido en la interfaz del sistema. Tras las revisiones individuales, los resultados son puestos en común y debatidos en una reunión entre los evaluadores y el responsable de la evaluación, generando el informe final de la evaluación.

Este método es, sin ninguna duda, el más conocido y utilizado. Tal es así que

muchas personas confunden el concepto global de evaluación de la usabilidad con la evaluación heurística y se refieren únicamente al uso de esta técnica cuando indican que evalúan la usabilidad del sistema concreto.

Ejemplo

El siguiente vídeo presenta un ejemplo del inclumplimiento de uno de los principios heurísticos más habituales: «User control and freedom«.

Aportes concretos de nuestra investigación al método.

Tras probar esta técnica en la mayoría de los proyectos presentados en el MPIu+a, hemos definido una plantilla para los evaluadores basada en las 10 reglas de NIELSEN a la que le hemos introducido unas ligeras variaciones:

Se introduce una parte introductoria destinada a detallar los objetivos del sistema interactivo a probar. Esta parte es común para todos los evaluadores y es redactada por el observador.
Relacionado con el punto anterior hemos introducido una nueva regla destinada a valorar el grado de transmisión de los objetivos por parte de la interfaz.
Cada heurística dispone de una serie de sub-reglas (o sub-heurísticas) que ayudan notablemente a los evaluadores mejorando los resultados de la prueba. El evaluador, según su criterio, valora para cada aspecto encontrado su:
- Impacto, que mide, en el subheurístico actual, la dificultad que le puede suponer al usuario superar el problema detectado en la interfaz.
- Frecuencia, que indica con qué frecuencia se produce el problema.
- Persistencia del mismo, como indicador de que una vez resuelto el problema en la parte de la interfaz en la que se ha detectado éste continuará produciéndose en otras partes de la misma.

Variantes interesantes de la evaluación heurística.

Evaluar la usabilidad de una aplicación interactiva utilizando la técnica de la evaluación heurística tiene un carácter claramente definido hacia aplicaciones genéricas en el que no interviene ningún tipo de usuario (consecuencia de tratarse de un método de inspección).

No obstante, en el contexto del proyecto europeo CHARADE77, se presentó una aproximación centrada en las tareas para el diseño y la evaluación (formativa) de sistemas interactivos, donde una de las principales novedades fue experimentar la respuesta de las evaluaciones heurísticas tras incorporar usuarios [LIN94].

Para ello, se combinó la evaluación heurística con la observación del usuario. A cada usuario representativo se le facilitaron varios escenarios de tareas para que fuese capaz de evaluar cada tarea y completar el informe de la evaluación. Estos usuarios fueron observados durante la ejecución de cada tarea para ver cómo utilizaban la interfaz durante su realización, qué errores cometían, cuánto tiempo tardaban, etc. Ambas técnicas produjeron datos cualitativos y cuantitativos a la vez que destacaron dificultades con algunos usuarios [DUM93]. Los datos recopilados durante la evaluación fueron procesados mediante análisis estadístico para reflejar aspectos relacionados con la usabilidad. Lo que no se especifica en las conclusiones de CHARADE es acerca del verdadero beneficio o perjuicio que aporta la introducción de usuarios en esta técnica.

Inconvenientes generales de los procedimientos heurísticos.

Los inconvenientes atribuidos al procedimiento heurístico en sí mismo son que los heurísticos suelen ser específicos del problema a tratar y pocas veces sirven para dar una respuesta concreta al problema. En el fondo lo que buscan los heurísticos es reducir el dominio de las posibles soluciones o aspectos de su aplicación para facilitar el proceso de descubrir soluciones o errores.

En el terreno específico de evaluación de la interfaz de usuario o del sistema interactivo en general el principal problema es que no hay participación de usuarios representativos.