En los estudios e investigaciones serios se detalla claramente la metodologÃa seguida para permitir la reproducción y comprobación de los resultados. Sin embargo, es práctica común de las consultoras y algunos gurús de la usabilidad no publicar la metodologÃa de sus estudios. Pueden haber dos razones para no detallar la metodologÃa, que exista algo que ocultar o que el autor no sepa mucho de metodologÃa.
A pesar de todo hay algunos indicativos que nos pueden ayudar a detectar la calidad de un estudio de usabilidad:
– Un tÃtulo demasiado claro y llamativo sobre los resultados del estudio disuade. Ningún investigador serio se atreve a decir las cosas de manera muy clara porque cuando alguien realmente busca descubrir algo siempre considera la posibilidad de estar equivocado. Generalmente los tÃtulos llamativos suelen ser meros reclamos comerciales que esconden otras deficiencias.
– Los estudios con resultados que contradicen a otros estudios anteriores comúnmente aceptados demandan una revisión exhaustiva de su metodologÃa. Existen muchos autores que quieren captar la atención a toda costa.
– Es necesario extremar la precaución con estudios hechos o financiados por partes interesadas, por ejemplo, estudios sobre efectividad de diferentes formatos publicidad en Internet realizados por compañÃas del mismo sector. SerÃa muy extraño que estas empresas renunciasen a la posibilidad de manipular los resultados.
Aunque es comprensible la falta de tiempo de los lectores, que generalmente sólo leen rápidamente las conclusiones, es necesaria cierta precaución para no caer en graves errores. Un ejemplo perfecto de este tipo de estudios es "The Truth About Download Time" de Jared Spool un maestro en vender sus estudios con graves carencias metodológicas.