En general se recomienda primero una evaluación por expertos o heurÃstica y más tarde un test de usuarios para encontrar problemas que los expertos no hayan detectado, pero cuando hay que escoger solo un tipo de la elección depende de algunos factores.
El nivel de usabilidad de la web a evaluar
La heurÃstica por expertos es la mejor opción para sitios en funcionamiento que no han sufrido evaluaciones previas y se espera que tengan problemas de usabilidad.
Llevar a cabo de test de usuarios cuando los problemas de usabilidad pueden ser descubiertos por expertos supone un derroche de medios. La baja usabilidad no permitirá que los usuarios profundicen en las tareas y evitará sacar todo el provecho a la prueba.
Los test de usuarios son adecuados cuando el diseño del sitio es "suficientemente decente" y se buscan problemas de usabilidad más sutiles, errores inesperados o refinar el diseño.
Cuando los sitios son suficientemente buenos o han sido evaluados anteriormente las evaluaciones por expertos pueden tocar techo. Es difÃcil predecir que harán los usuarios a partir de un determinado nivel o comparar dos soluciones de diseño ambas con pros y contras. Llegados a ese punto los test de usuarios aportan mucho valor.
La experiencia de los expertos
A expertos más experimentados, más lejos se puede llegar con la evaluación heurÃstica y menos necesario es el test de usuarios.
Un profesional experimentado y con muchas horas de test de usuarios a sus espaldas puede predecir muchos comportamientos de los usuarios sin necesidad de realizar el test que siempre tendrá unos costes más elevados.
Los conocimientos de usabilidad del cliente
Si el responsable de la web no está muy versado en usabilidad estará mejor predispuesto a un test de usuarios porque es más directo y de más fácil comprensión que un heurÃstico.
El responsable puede pensar que los informes de expertos son una opinión subjetiva y dudar de ellos. Sin embargo los resultados del test de usuarios acompañados por videos y otras grabaciones, suelen ser más efectivos a la hora de demostrar la conveniencia de hacer cambios en el diseño.
Los test de usuarios parecen fáciles de hacer
Hacer un heurÃstico es complejo porque se requiere cierto conocimiento teórico, sin embargo casi cualquier persona puede llevar a cabo un test de usuario básico e incluso en el peor de los casos obtener resultados interesantes.
Jakob Nielsen y su hazlo tu mismo ha sido muy positivo porque ha contribuido a popularizar la usabilidad y convencer de su importancia. Sin embargo estos métodos son solo adecuados cuando se explora inicialmente el funcionamiento del sitio web y se quedan cortos a la hora de obtener resultados en escenarios más complejos.
MetodologÃa estricta: no es necesario seguirla, pero sà conocerla
Los test de usuarios han sido erróneamente mitificados como infalibles o como una visión objetiva del comportamiento del usuario en la web.
Poner una cifra de dos dÃgitos sobre la tasa de éxito de un proceso de compra en la mesa del cliente es una buena estrategia, pero no garantiza la objetividad.
La objetividad de un test de usuarios depende de una buena metodologÃa. La metodologÃa no debe preocupar excesivamente en un test cuyo único objetivo es obtener conclusiones prácticas. Sin embargo tener conocimientos de metodologÃa permite evitar conclusiones o generalizaciones equÃvocas.
Una muestra de 5-10 usuarios es en la mayorÃa de casos suficiente para detectar muchos problemas de usabilidad, pero los resultados no tienen ninguna validez estadÃstica.
La objetividad requiere una metodologÃa experimental adecuada, tareas bien diseñadas, control de variables independientes, medidas significativas, etc. Como este proceso raramente se sigue en el mundo empresarial, la validez de los test de usuarios es equivalente a la de la evaluación por expertos.
De hecho los expertos usan en sus evaluaciones unos principios generales (heurÃsticos) obtenidos de la experimentación sistemática en HCI, la disciplina de la que proviene el cuerpo de conocimiento de la usabilidad.
Un truco y una precaución
El truco:
Cuando el cliente prefiere un test de usuarios es útil presentar un mini-heurÃstico previo o hacer predicciones sobre el comportamiento de los usuarios. En la mayorÃa de los casos las observaciones de los expertos se ven confirmadas en el test de usuarios, lo que hace más evidente el valor del trabajo del experto.
La precaución:
Los test de usuarios pueden ser una peligrosa arma de doble filo. Es poco recomendable que el responsable de la web los presencie en directo porque si un usuario presenta un comportamiento poco realista o su perfil es poco representativo, por ejemplo, adora los menús desplegables o las intros en Flash podemos tener un problema.