Perspectiva evaluadora desde la ciencia de comunicación

por

Autora: Gloria Gómez Diago

En la actualidad la evaluación web es una disciplina ejercida principalmente por consultoras, empresas dedicadas al desarrollo tecnológico y por profesionales de la documentación.

Normalmente, la evaluación se desarrolla desde las consultoras y se apoya fundamentalmente en dos técnicas: Evaluación por expertos y Test de usuarios. Los dos métodos se utilizan indistintamente aunque, debido a su mayor coste, el segundo suele usarse para identificar fallos que en la evaluación de expertos han pasado inadvertidos. Manchón, Eduardo (2003).

Una propuesta de indicadores permite cubrir una checklist que nos aporta datos sobre el nivel de calidad que presenta la página. Aún teniendo una lista de criterios o de niveles a evaluar, es necesario contar con un grado de incertidumbre o subjetividad en el proceso evaluador. Respecto a esto, Grigore Burdea y Philippe Coiffet (1996:231) explican las complicaciones que surgen en la evaluación aplicada a sistemas de realidad virtual:

«(…) Por la naturaleza misma, es decir, por sus características de inmersión e interactividad, la relidad virtual involucra a â??casi todo el ser humanoâ?: todos sus sentidos y toda su atención. En consecuencia, la medición del rendimiento no va a ser fácil. Y estará sujeta a cierta subjetividad.â?
Pese a las dificultades, aclaran que â??parece más que necesario evaluar o calificar los sistemas de realidad virtualâ? y como principal motivo, sitúan la â??necesidad tecnológicaâ?. Es decir, comprobar â??si las herramientas y simulaciones de realidad virtual se dirigen correctamente al hombre (comprensión y acción)» (1996:231).

En este punto es donde se establece la necesidad de una evaluación desde la perspectiva de la comunicación, encargada de tasar la calidad de la comunicación que se establece entre usuario y documento.

En el contexto de nuevos códigos y elementos que aporta Internet, es necesario desarrollar parámetros e indicadores para realizar una evaluación de la calidad comunicativa de los documentos web. La gran cantidad de elementos que nos brinda el soporte electrónico para construir comunicación, convierte a la evaluación en pieza clave en lo que respecta a su desarrollo.

«Si de verdad llega a disponerse del hipertexto, especialmente en las versiones fantasiosas de las que se está hablando ahora_ en las cuales se puede disponer de palabras, sonidos, gráficos de ordenador, simulaciones y más cosas con sólo tocar la pantalla_ entonces resulta difícil imaginar que haya alguien capaz de preparar el material. Harán falta equipos enteros de personas. Según mis cálculos, tendrán que realizarse muchos experimentos, y tendrá que haber muchos fracasos, antes de que se comprendan totalmente las dimensiones de esta nueva tecnología» Norman, Donald (1988:261)

Evaluar la calidad comunicativa de los documentos web permite identificar los requisitos que debe incluir un sitio web así como el propósito de cada una de ellos desde el punto de vista situado en la intersección de la relación que se establece entre el usuario y el documento web.

Una propuesta de niveles de evaluación.

En una investigación centrada en el estudio de los criterios de evaluación publicados por festivales que premian documentos web (Martí Pellón, Daniel/ G. Diago, Gloria: 2003), después de realizar un análisis comparativo entre los festivales que publican sus criterios con detalle: Worldbestwebsites, Maestroawards, assessrisk»>, bton, Iptop y Webbmagic, se concluye que los criterios más utilizados son Tecnología, Contenido y Diseño.

Además, aparecen los criterios de Funcionalidad, Interactividad, Creatividad y Overall Experience. A excepción de este último, los otros tres criterios no aportan cuestiones diferentes a las que plantean Tecnología, Contenido y Diseño.

En este estudio, al estudiar con detalle los elementos o indicadores propuestos por los organizadores en los tres criterios, se comprueba que:

  • En un mismo criterio los indicadores nacen desde diferentes puntos de vista.Así, en el de contenido tenemos expresión verbal y estructura, organización. Expresión verbal se refiere a la ortografía, a la gramática y al spelling mientras que estructura tiene que ver con la presentación del contenido y el desglose de sus elementos.
  • Los indicadores que se han colocado en cada uno de los criterios tienen un equivalente en los otros dos. Así, en Tecnología un indicador expresa que los links deben de estar activos, en el criterio de contenido aparece que el link debe estar relacionado con su origen y en el de Diseño se expresa que los links deben tener un diseño homogéneo para su localización.

Al analizar un documento web, la separación Tecnología / Contenido / Diseño ocasiona errores de planteamiento y confusiones puesto que resulta imposible evaluar desde esas tres perspectivas por separado.

Respecto a este tema, hay una investigación publicada en la red: Content or Graphics?. An empirical análisis of criteria for award winning websites, realizada por la Universidad de California, Berkeley en colaboración con la Academia Internacional de las Artes y Ciencias Americanas, organizadora de los Webby Awards. Las autoras se plantearon averiguar, mediante encuestas, cuál fue el criterio que más tuvieron en cuenta los miembros del jurado en la edición de los Webby 2002.

De los seis criterios que planteó el festival ese año, y que se mantienen (Contenido, Estructura y Navegación, Diseño Visual, Funcionalidad, Interactividad y Overall Experience), las autoras concluyen que el que se considera más importante por el jurado es el de Contenido con una gran diferencia con respecto a los otros.

El segundo criterio en importancia es el de Interactividad y, el último, el de Diseño visual. Además, comprobaron mediante los cuestionarios que Overall experience aglutina la adicción de todos los criterios.

El planteamiento de este estudio resulta muy interesante pues tiene como objetivo el constatar a qué área dan más importancia los jurados a la hora de establecer un ranking de premiados. Además, a través de sus resultados nos permite plantearnos la eficacia de la separación entre Contenido, Diseño y Tecnología. Que hayan concluido que el criterio que más se tiene en cuenta es el de contenido parece revelar que dentro del concepto de Contenido, los evaluadores, han tenido en cuenta también un criterio Tecnológico (es necesario que el documento web provea al usuario de los programas que necesite para su utilización), y un criterio de Diseño (es fundamental que los links estén identificados para poder clicar sobre ellos).

Los indicadores que nos proporcionaron los festivales en cada uno de sus criterios, nos permitieron identificar niveles de significación dentro de los mismos. Mediante el método card sorting, establecimos agrupaciones de los indicadores desde diferentes puntos de vista.

La perspectiva definitiva es la calidad comunicativa. Es decir, desde el grado de relación entre el documento web y el usuario. De este modo, establecimos cinco niveles para evaluar la calidad de un documento web. Cada uno de los niveles integra aspectos referentes al Contenido, al Diseño y a la Tecnología:

  1. Legalidad
  2. Acceso y visibilidad
  3. Composición
  4. Integración e Innovación
  5. Adecuación y eficacia

La lectura de estos niveles es de arriba abajo, siendo el de Legalidad el nivel básico que deben cumplir los documentos web. A continuación, trazo algunas de las cuestiones que tienen en cuenta cada uno de los niveles.

  1. Legalidad: requisitos de copyright, respeto a los derechos humanos, etc.
  2. Acceso y Visibilidad: requerimientos necesarios para minusválidos (Web Content Accessibility Guidelines, en http://.www.3org/TR/WAI_WEBCONTENT/), que baje rápido, resolución estándar, incluir plugins si son necesarios, links con color estándar, texto y fondo diferenciados, etc.
  3. Composición: Se refiere a la estructuración del documento web, a que tenga una disposición lógica del contenido, a que haya un equilibrio entre imágenes y texto, etc.
  4. Integración e Innovación: uso adecuado de los elementos hacia un mismo propósito, por así decirlo: Este nivel mide si los recursos de audio y video, por ejemplo, se hayan integrados dentro del conjunto del web. Además, Innovación se refiere a los elementos que posibilitan la participación del usuario como son los chats, foros, etc.
  5. Adecuación y eficacia: Este último nivel presenta diferencias en su significado en función del tipo de documento que estemos evaluando. Si nos referimos a una web de una empresa que tiene presencia en otros medios, la adecuación tiene que ver con que sigamos el manual de estilo que ya posee.

Eficacia está en relación con el que creador del documento web consiga sus propósitos a través de la misma, que se dirija a su tipo de usuario de un modo correcto. Hay que decir que para medir la eficacia de un web site, podremos disponer de indicadores cuantificables, en función del tipo de propósito que tenga el documento web. Es decir, si lo que hace es vender discos, podremos tener fácilmente el número de compradores así como el número de usuarios registrados.

Del mismo modo que, hablando de la ficción interactiva, se plantea la falta de conceptos referidos a la interacción para detectar diferencias entre diferentes tipos de videojuegos, en la evaluación web se demanda una perspectiva evaluadora desde comunicación que aglutine las perspectivas tecnológica (Jacob Nielsen y la IPO HCI- Human Computer Interaction, AIPO: Asociación Interación Persona Ordenador, en España), la que tiene como origen la psicología cognitiva (Donald Norman, Eduardo Manchón) y la documentalista y docente (Wolfgram Memorial Library).

Se trata de desarrollar a través de la propuesta de conceptos lo que los consultores realizan de una forma cotidiana. Esto permitirá disponer de un registro pautas de calidad web que haga más fácil proponer nuevos patrones, que posibilite el intercambio de ideas en el marco de la ciencia de la comunicación y, gracias a esto, acercarnos con más precisión tanto a la realidad web y como a los marcos de investigación en evaluación que se desarrollan desde otras perspectivas.

Una propuesta de diez criterios de evaluación

Bajar propuesta en formato PDF.

Partiendo de la necesidad de superar la diferenciación: Contenido, Diseño y Tecnología para evaluar documentos web, se plantea un mapa de evaluación estructurado en diez criterios: Buscabilidad, Accesibilidad, Identidad, Credibilidad, Cobertura, Novedad, Lectura, Manipulación, Acción y Recursos.

La propuesta de estos criterios está basada en las características que tiene que tener un documento web con respecto a la satisfacción del usuario y los indicadores propuestos en cada uno de ellos han sido extraídos de más de un centenar de listas de evaluación (checklists) que aparecen publicadas en la red, aunque bajo otra propuesta de criterios.

El método utilizado para asignar los indicadores a los criterios propuestos ha sido el de «card sorting». Este sistema, que consiste en ir asociando términos por tener en común alguna perspectiva o por disociación es muy empleado por las consultoras que construyen documentos web y muy útil en trabajos como este, consistentes en hacer más sencilla la aproximación a conceptos que presentan unos límites semánticos poco claros.

Evidentemente, no es propósito de este artículo otorgarle a la propuesta un carácter definitivo. Se trata de compartir una forma de aproximación a la evaluación web desde la Ciencia de la Comunicación.
Bajar propuesta en formato PDF.

Referencias

Listas de evaluación consultadas:

Deja un comentario