"dos o tres meses de test de usuarios pueden ahorrarte dos o tres horas en la biblioteca"
Esta frase ilustra claramente la falta de conocimientos en IPO/HCI y metodologÃa experimental que provoca graves errores en muchos test de usuarios.
Las comparaciones de sitios web
El primero de estos errores intentar comparar varias versiones de un sitio web (o sitios diferentes) para averiguar cual de ellas es la que mejor funciona. En muchos casos se realiza una nueva versión del sitio web y se compara la versión vieja con la nueva o dos nuevas versiones entre si.
Una comparación puede ser útil para convencer a un cliente de los beneficios de la usabilidad, pero no es lo más adecuado para mejorar la usabilidad del sitio. Realizar una comparación es un derroche de recursos. Aunque siempre se debe testar el nuevo diseño de un sitio, no tiene sentido testar la antigua versión del sitio para poder tener una referencia en la comparación.
Generalmente la antigua versión suele tener muchos errores y la nueva añade o suprime funcionalidades, lo que hace que la compración entre ambas no aporte información.
La comparación también es inadecuada desde el punto de vista de la validez de los resultados. En la mayorÃa de los casos los sitios que se comparan son muy diferentes. Si el resultado del estudio es que el sitio A es más usable o gusta más a los usuarios que el sitio B, ¿en qué es mejor el sitio A que el sitio B?. En otras palabras, ¿qué ha producido unos mejores resultados en el sitio A? No posible saberlo con certeza. Quizás en la nueva versión se ha mejorado la navegación, pero empeorado la estructura de la información. El resultado de una comparación tan grosera puede no indicar nada e incluso producir una gran confusión.
La comparación como método para obtener conclusiones tiene su fortaleza cuando los sitios comparados son idénticos y solo difieren en una sola caracterÃstica, es decir, la caracterÃstica que estamos comparando. Por ejemplo, cambiar la barra de navegación de posición, en lugar de arriba en horizontal a la izquierda en vertical, pero sin cambiar el resto de elementos. Pero en ese caso dla comparación es muy ineficiente porque crear dos sitios idénticos variando solo una caracterÃstica es un proceso demasiado largo y costoso.
Además las comparaciones requieren un mayor número de sujetos para los test de usuarios para que no estén contaminados por efectos de aprendizaje. No es posible hacer un diseño intra-sujetos (el mismo sujeto testea varias versiones del sitio), sino únicamente entre-sujetos (un sujeto testea un sola versión), lo que requiere el doble de sujetos y el consiguiente aumento en los costes.
El único uso adecuado de la comparación como herramienta de la usabilidad es durante la fase de creación de prototipos de bajo coste. Es posible crear dos prototipos idénticos que solo varÃen en una caracterÃstica y realizar test de usuarios sobre ellos. Los prototipos deben ser meros cascarones vacÃos, de elaboración rápida y bajo coste.
Lo más aconsejable es definir la creación de un sitio web como un proceso iterativo donde se debe seguir un solo camino. Se deben enfocar todos los recursos disponibles al desarrollo de una única versión que se va testando sobre la marcha y refinando. La elaboración de varias versiones diferentes de un sitio web y su comparación a posteri supone el desaprovechamiento del trabajo de la versión (o versiones) descartada(s), trabajo que podrÃa haber sido invertido en la mejora de una única versión.
No hacer una evaluación heurÃstica por expertos previa al test de usuarios
El segundo error más común es testar con usuarios un sitio web que no ha pasado por una evaluación heurÃstica por expertos previamente. Un profesional de la usabilidad puede realizar la evaluación heurÃstica de un sitio web de manera rápida y detectar a bajo coste los errores de usabilidad.
Un sitio que no haya pasado por evaluación heurÃstica previa suele estar plagado de errores y en estas condiciones el test de usuarios descubre únicamente los errores de bulto en el diseño, pero no es capaz de aportar información realmente valiosa que justifique su alto coste.
Un experto puede detecar rápidamente muchos problemas de usabilidad de un formulario de registro y proponer soluciones. Si se realiza directamente un test y los usuarios se quedan bloqueados en un paso del formulario no será posible evaluarlo completamente.
El peligro de los cuestionarios
Realizar preguntas a los usuarios preguntas tales como "¿le ha parecido humano el sitio web?" o "¿le parece bonito el sitio web?" es algo totalmente inadecuado. Preguntas como esta son las preferidas por los profesionales del marketing para crÃticar un sitio muy usable, pero demasiado austero para su gusto. La pregunta está sesgada, no aporta información valiosa y es una herencia de los estudios de mercado.
Internet es un medio cognitivo donde el procesamiento de información está por encima de aspectos emocionales (ver conducta de navegación de los usuarios). Por supuesto, si se incluye una foto de una persona en un sitio web y se pregunta por este elemento al usuario, se fuerza una respuesta a una pregunta que quizá nunca se habrÃa planteado. En Internet es más importante "hacer" que "sentir" y la importancia de esta pregunta es escasa.
La definición de las tareas y medidas
El cuarto error más común es decidirse a realizar un test de usuarios sin definir de manera exacta las tareas a realizar y las medidas de usabilidad a tomar. Muchos test de usuarios ponen a interactuar a los usuarios con el sitio de manera "natural", es decir, son los propios usuarios deciden sus tareas y se supone que la interacción es la cotidiana y normal en el sitio (por ejemplo en The Truth About Download Time). En otros casos se encargan tareas vagas y no se definen medidas claras.
En esas condiciones realizar una grabación en vÃdeo como garantÃa total de recogida de información es irónico. Si no se encargan tareas concretas, ni se toman medidas especificas, los resultados del test se reducirán a la mera especulación.
Los videos son apropiados para confirmar los resultados o ilustrarlos gráficamente, pero el análisis profundo de un vÃdeo requiere mucho tiempo y no se le puede considerar la base del test sino solo un complemento.
Para obtener medidas fiables se debe pedir a los usuarios completar diferentes tareas que simulen su comportamiento real: comprar un producto determinado, buscar una determinada información o responder a una pregunta que implique buscar y comparar información, etc.
Medidas objetivas de usabilidad son la tasa de finalización de la tarea, el tiempo, el número de errores, la memoria, etc. (más información en el artÃculo test de usuarios).