Clasificación de los métodos

Existe una amplia variedad de métodos de evaluación. Cada uno de ellos utiliza unos determinados medios y técnicas e intentan medir diferentes aspectos.

La elección de un método u otro no depende sólo de cuál es la respuesta que se quiere conocer sino de múltiples factores que pueden resumirse en ¿cuánto cuesta? y ¿qué obtendremos con su realización?. Los métodos no son totalmente independientes, sino que se solapan en cuanto a las actividades que desarrollan [ROD01].

Según estos criterios, los métodos de evaluación, como vemos la siguiente imagen, pueden clasificarse de varias maneras:

clasificación métodos evaluación

Lugar de realización

Distinguimos dos categorías generales:

Aquellos que se realizan en el laboratorio

El objetivo del evaluador, a veces, es comprobar aspectos sin que precise la ayuda de los usuarios. Este tipo de comprobaciones las realiza, normalmente, en su entorno de trabajo o sea en el laboratorio, donde puede además traer usuarios para un estudio particular.

Ejemplos de algunos laboratorios de usabilidad:

Los que se realizan en el entorno natural o habitual del escenario donde se realizan las tareas a evaluar

Esta situación se produce cuando el evaluador realiza su trabajo en el lugar natural donde se realiza la escena, el lugar de interacción habitual del usuario.

Por poner un ejemplo, en el Reino Unido se está estudiando la forma de mejorar la usabilidad de los sitios web de comercio-e utilizando técnicas de seguimiento de los movimientos de los ojos (Tracking Eye Movements) para reconocer y comprender de la navegación ocular de dichas aplicaciones web [TZA03].

Remote Usability testing

Remote usability testing allows you to get customer insights when travel budgets are small, timeframes are tight, or test participants are hard to find.

Ventajas e inconvenientes

Evaluación realizada en el laboratorio

Ventajas:
  • Sofisticados equipos (audiovisuales de grabación, ordenadores con capacidades especiales, etc.) que permiten explorar aspectos precisos.
  • Los usuarios pueden operar sin distracciones ni interrupciones.
Inconvenientes:
  • Las distracciones y las interrupciones forman parte del entorno natural de trabajo y pueden tener una influencia significativa.
  • No reproduce el contexto de la interacción.
  • El cambio de paradigma puede desconcertar al usuario.

Evaluación realizada en el entorno

Ventajas:
  • Es la única manera de ver realmente cómo los usuarios realizan sus tareas cooperando entre ellos.
  • Mejora el Análisis de Requisitos (afloran aspectos no recogidos anteriormente).
Inconvenientes:
  • El lugar de trabajo (entornos ruidosos…) puede dificultar la observación. Sobre todo alargar el tiempo de duración de la prueba.
  • En algunos casos, la observación en el laboratorio es la única opción posible [DIX93, pág. 365]. Por ejemplo si el sistema está en un lugar peligroso (central nuclear,…) o inalcanzable (estación espacial…), o incluso aquellas ocasiones en las que se precisa un cambio del lugar de la escena para reproducir cómo será bajo la influencia de nuevo sistema.

Inicio de la ventana

En cuanto al tipo de técnica de comprobación utilizada, se distinguen tres categorías:

Métodos de INSPECCIÓN:

Inspección es un nombre genérico para un conjunto de métodos cuya principal característica común es que hay unos expertos, conocidos como evaluadores, que examinan (inspeccionan) aspectos de la interfaz del sistema relacionados con la usabilidad y la accesibilidad que la misma ofrece a sus usuarios.

Los diferentes métodos por inspección tienen objetivos ligeramente diferentes, pero en todos ellos se tienen en cuenta las opiniones, juicios, informes de los inspectores sobre elementos específicos de la interfaz como factor fundamental de la evaluación -normalmente de la usabilidad- [NIE94a].

Los métodos de evaluación por inspección empiezan a ser populares en el ámbito de las emprsas de producción de servicios software, pues permiten identificar, clasificar y contabilizar un gran número de errores potenciales de usabilidad a precio relativamente bajo [BIA94a][NIE94a], siendo el hecho de no utilizar usuarios uno de los factores que más contribuyen a dicha reducción económica.

Métodos de INDAGACIÓN:

La información acerca de los gustos del usuario, las quejas, las necesidades y la identificación de requisitos son informaciones indispensables sobre todo en etapas tempranas del proceso de desarrollo. Por tanto, hay que descubrir y aprender, hay que generar ideas de diseño, y va a resultar de especial interés que las metodologías -a aplicar, preferentemente, en una primera fase- proporcionen información relacionada con el uso y las posibilidades de acceso de un producto que aún no se ha empezado a fabricar.

En este tipo de métodos se realiza hablando con los usuarios, observándolos, usando el sistema en trabajo real, y obteniendo respuestas a preguntas verbalmente o por escrito.

Métodos de TEST:

En los métodos de evaluación por test, usuarios representativos trabajan en tareas concretas utilizando el sistema (o el prototipo) y los evaluadores utilizan los resultados para ver cómo la interfaz de usuario da soporte a los usuarios con sus tareas.

Inicio de la ventana


En cuanto a la automatización, podemos distinguir entre métodos:

Automáticos:

Encontramos en este grupo aquellos métodos que disponen de mecanismos (hardware y/o software) que facilitan la comprobación de los aspectos a validar. Los métodos automáticos resultan altamente eficientes puesto que se realizan muy rápidamente y los resultados siempre provienen de los mismos parámetros, sin apreciaciones subjetivas.

El principal problema de estos métodos está en que siempre se basan en sistemas ya finalizados (o versiones preliminares de lanzamiento) y no pueden utilizarse en etapas tempranas del ciclo de vida del desarrollo.

Una de las características que hacen más atractivos a estos métodos es la posibilidad de realizar tests remotamente [BAR03][DRA04].

Manuales:

Al contrario de los métodos anteriores están los métodos que no disponen de mecanismos que automaticen su realización. Éstos consumen más recursos: Tiempo, evaluadores…, pero pueden evaluar aspectos que se «salen del patrón» y pueden realizarse en cualquier etapa del desarrollo y con cualquier tipo de prototipo.

Inicio de la ventana

Y si tenemos en cuenta quién interviene, tipo de participantes, en la evaluación, podemos distinguir los siguientes métodos:

CON usuarios y/o implicados

Son los métodos en los que se evalúa el sistema con la intervención directa de usuarios representativos, pudiendo también participar en las sesiones personas que sin ser usuarios finales tienen la condición de implicados del sistema.

Estos métodos resultan muy positivos por implicar la participación de usuarios en el proceso de diseño pero dificultan, en parte, el proceso debido a que no siempre resulta fácil reclutar usuarios para este tipo de actividades.

SIN usuarios y/o implicados

Estos métodos los realizan sólo expertos evaluadores con la ayuda de guiones, pautas o documentos que permiten hacer un seguimiento de los que han hecho los usuarios mientras utilizaban el sistema.

Trabajar sin usuarios permite que este tipo de métodos -tal como hemos visto también con los métodos automáticos- se realicen con mayor velocidad pero, por el mismo motivo, carecen de la valiosa información que evaluar con dichos usuarios aporta al desarrollo del sistema.

Este tipo de método tiene una eficacia adicional que permite detectar errores funcionales, de consistencia, etc.

Inicio de la ventana

Evaluación Formativa y Evaluación Aditiva

Todos los autores coinciden en que «probar pronto y a menudo» es el principal principio de la Ingeniería de la Usabilidad [BAI02], constituyendo un factor clave para identificar «a tiempo» los problemas potenciales de usabilidad de los sistemas interactivos.

Además de las clasificaciones anteriores existe otra que no se ha incluido en la tabla anterior porque el carácter de ésta dista un poco de las anteriores lo cual incluso puede llevar a cierta confusión. Esta clasificación divide los métodos de evaluación en formativa (formative evaluation) y aditiva (summative evaluation).

Se denomina evaluación formativa [BAI02] a una colección de métodos de Ingeniería de la Usabilidad que centra su actividad en un proceso iterativo de identificación de problemas de usabilidad y su correspondiente corrección («identificar y corregir») antes de que un producto esté completado.

Consiste, por tanto, «en la realización de pruebas con usuarios con el objetivo de aprender sobre el diseño para mejorar la nueva iteración» [NIE94c], y no tiene que ser confundida con la evaluación aditiva o sumativa, que es un método que juzga el valor de un programa al final de las actividades del mismo [BHO90], el enfoque está en el resultado mediante el cual ofrece una comparación cuantitativa entre un producto (a menudo completo) y un producto competitivo o uno estándar.

Ambas técnicas son complementarias y el proceso de evaluación puede alimentarse de ambas. Mientras, por un lado, tenemos un sentido prospectivo o formativo (de mejora, de comprensión, de aislamiento de conflictos…), por el otro, el sentido es retrospectivo o aditivo (valorar una meta concreta).

Comparativa evaluación formativa y evaluación aditiva

Formativa:

  • Principalmente prospectiva.
  • Enfoque: El proceso.
  • Análisis de fortalezas y debilidades para mejorar.
  • Hábitos de desarrollo.
  • ¿Oportunidad de reflejar en el significado de últimos logros?.
  • Realimentación (feedback).

Aditiva:

  • Principalmente retrospectiva.
  • Enfoque: El resultado.
  • Gran soporte documental.
  • Hábitos de documentación
  • ¿Evidencia de la evaluación formativa regular?.
  • Evidencia.

Inicio de la ventana