Los métodos de evaluación automatizados utilizan programas especÃficos de medición para analizar el comportamiento de los usuarios, es decir, miden automáticamente una serie de variables consideradas a priori predictoras de la usabilidad de un sitio web. Sin embargo, en estos estudios los parámetros registrados no siempre son buenos predictores de la usabilidad.
Que unos usuarios hayan seguido cierta ruta para llegar a unos contenidos no significa necesariamente que esa ruta sea la más usable. Es posible que el sitio esté estructurado de tal manera que esa es la unica ruta lógica para muchos usuarios. Lo que no dice un tracking es si realmente esa ruta es buena y que ha ocurrido con los ususarios que no han sabido como llegar a los contenidos que les interesaban. A partir de unos clics perdidos y sin rumbo no podemos inferir las intenciones.
El tracking es adecuado para encontrar errores, informa sobre donde se atascan los usuarios en un proceso, que enlaces no se pinchan porque no son comprensibles o no interesan, etc. pero no dice cómo se debe diseñar un sitio web.
El inconveniente más serio de los estudios automatizados es que miden el comportamiento de los usuarios actuales de un sitio. Estas personas estan sufucientemente motivadas, ya suficientemente satisfechas y han aprendido a usar el sitio web. Sin embargo, a no ser que el sitio web sea un completo éxito y no necesite captar más usuarios los usuarios actuales no nos interesan tanto como los potenciales. Si se diseña un sitio web para usuarios actuales se estará diseñando un sitio web para usuarios que ya lo usan y la ganancia será relativamente marginal porque no se centra en llegar al potencial real de Internet, es decir, a los usuarios que todavÃa no la usan.
Parámetros de medida analizados por los estudios automatizados son la contabilización del número de clicks del ratón, el control de los links seguidos por los usuarios y del grado de actualización del sitio. Aunque estos datos proporcionan información objetiva, sin embargo, la identificación de manera simple de los datos obtenidos con medidas de usabilidad es algo discutible.
Un programa puede medir el tiempo requerido para encontrar la ruta adecuada a la solución, sin embargo en el caso de que el usuario se pierda, no aporta ninguna solución para corregirlo. Por otro lado, cada usuario se comporta de manera diferente y la mera anotación de los links que visita, no indica las causas de su comportamiento. No se conoce si quizá sólo está comparando ofertas y no quiere comprar, si entró al sitio web por error, o sólo curioseaba.
La contabilización del número de clicks como predictor de la usabilidad de un sitio web puede dar lugar a errores de interpretación. Por ejemplo, un diseño más eficiente de una página, no siempre reduce el número de clicks necesarios para realizar una compra. Quizás es incluso necesario incrementar el número de pasos para minimizar el volumen de información y facilitar decisiones más rápidas y sencillas de los usuarios evitando asi el riesgo de pérdida que puede aparecer en decisiones complejas.
En cualquier caso existen una serie de datos que sà pueden ser recogidos automáticamente por programas especÃficos, como el tiempo de descarga, la validación del código HTML, el estado de los enlaces y la accesibilidad para discapacitados.
Algunos sitios como Link Checker, HTML validator, Bobby (validación accesibilidad) y WebSiteGarage (evaluación en varios parámetros) pueden ayudar.
Estudios vÃa web
Son estudios de mercado que recogen respuestas vÃa web. Estos estudios tienen su principal ventaja en la integración de todos los procesos de investigación y su bajo coste.
La integración de los procesos en un estudio on-line permite visualizar los resultados de la investigación en cualquier momento. Sus beneficios principales son la rapidez en la recogida de las respuestas, en la presentación de resultados y una reducción de costes de ejecución.
El principal inconveniente de este tipo de estudios es el de la validez de la muestra. En muchos casos se utilizan banners y ventanas "pop-up", que con diferentes sistemas de muestreo reclutan sujetos para el estudio. Las muestras recogidas de este modo son autoseleccionadas, están muy sesgadas porque sólo perfiles muy especÃficos de usuarios prestan atención a los banners, a las ventanas "pop-up" y se deciden a responder a las preguntas de un cuestionario vÃa web. Este problema anula los beneficios de esta técnica de evaluación y la hace muy poco recomendable.