Actualmente existen varios sesgos en la realización de estudios de sitios web y que afectan a la representatividad de los resultados:
1. Los usuarios noveles son actualmente mayoritarios en la Red. Cualquier estadÃstica que pueda estar influida por el comportamiento de los usuarios noveles ha de ser observada con precaución. En unos meses estos usuarios desarrollarán otros comportamientos más complejos y propios de una mayor experiencia.
2. El comportamiento de los futuros usuarios. Actualmente sólo un 30% de los usuarios potenciales están conectados a Internet. No hay ninguna razón para pensar que el restante 70% de usuarios que se incorporarán en el futuro se comportarán del mismo modo. De hecho, por ser usuarios más tardÃos, se puede afirmar que tendrán perfiles y comportamientos diferentes a los actuales. Los datos obtenidos a partir de los usuarios actuales deben ser revisados periódicamente y concederles el valor que realmente tienen.
3. La distinción entre los conceptos de usuario, turista y pseudovisitante. Algunos de los datos estadÃsticos que se ofrecen actualmente carecen de utilidad práctica. El concepto de número de visitas a un sitio web o de páginas vistas tiene un significado dudoso. El número de visitas no permite distinguir a los usuarios reales del servicio, del internauta turista que no ve más que unas pocas páginas del sitio o del pseudovisitante (internauta que sale del sitio a los pocos segundos).
4. La baja fiabilidad de las respuestas de los usuarios en entrevistas o cuestionarios acerca de su futuro comportamiento o actitudes en sitios web. Preguntar acerca de un comportamiento tan complejo y nunca antes realizado es pedir a los usuarios un acto de adivinación. El diseño de un sitio web no puede basarse en suposiciones, sino en hechos.
A causa de estos problemas se utilizan técnicas de evaluación como la evaluación heurÃstica y el test de usuarios que están relativamente más a salvo de estos sesgos.
La corrección de los errores de usabilidad detectados a posteriori es cara e ineficiente. El rediseño posterior de sitios supone realizar el mismo trabajo dos veces. Para evitarlo la evaluación siempre debe realizarse desde los primeros prototipos disponibles del sitio web. En caso contrario solo servirá para evitar los mismos errores en la siguiente versión del sitio, tarea que aunque importante, en la práctica significa que el coste de la primera versión ha sido desaprovechado.