La evaluación de la calidad de la información web: aportaciones teóricas y experiencias prácticas

José Antonio Merlo Vega (Universidad de Salamanca)

Publicado en Recursos informativos: creación, descripción y evaluación. Mérida: Junta de Extremadura, 2003, p. 101-110. (Sociedad de la información, 8).

La evaluación de la información web

Todo tipo de información es susceptible de ser evaluada, sobre todo si se requiere reunir una colección de utilidad para los usuarios de un centro de información. La información almacenada en los soportes tradicionales, e incluso en los electrónicos, cuenta desde hace tiempo con un corpus teórico contrastado relativo a los criterios que se deben aplicar para la evaluación de la misma. Sin embargo, la información telemática, especialmente la accesible a través de Internet, todavía está siendo objeto de reflexión e investigación, a fin de ofrecer una serie de parámetros y procedimientos que sirvan de forma definitiva para analizar la calidad de la información accesible en línea. En los siguientes párrafos se expondrán los principales aspectos referidos a los criterios y métodos de evaluación del principal tipo de información telemática: aquella que se difunde a través de páginas web.

La información web es aquella que está elaborada en cualquiera de los lenguajes derivados del SGML y cuya característica más notable es ser documentos hipertextuales y multimedia. La unidad básica de los documentos de este tipo es la página web, entendida como el documento escrito en un lenguaje de marcado, con una localización única dentro de un servidor. El contenido de una página web puede ser independiente o bien estar vinculado a otras páginas web, entre las que existen enlaces hipertextuales y las cuales completan su información. En este caso, se denomina sitio web, al tratarse del conjunto de páginas web relacionadas entre sí por su autoría y porque su contenido sólo cobra sentido cuando se entiende de forma global, distribuido entre varias páginas web complementarias e interdependientes. Este delimitación de conceptos es importante, ya que el proceso de evaluación de información telemática muchas veces podrá realizarse sobre páginas aisladas aunque, en la mayoría de los casos, el objeto será un sitio web en su conjunto.

La evaluación de páginas o sitios web es necesaria por motivos cuantitativos y cualitativos. El elevado número de páginas existentes -la base de datos de Google ya ha sobrepasado los dos mil millones de documentos- obliga a contar con criterios desde los que se extraiga la información de calidad de la abultada cifra de recursos inservibles, inoperantes y desdeñables. Asimismo, cualquier fuente de información sólo es válida si aporta contenidos útiles y si los mismos son localizados de forma sencilla. Por este motivo, también es necesario recurrir a parámetros que ayuden a identificar la información imprescindible y separarla de la que nada aporta. Es evidente que disponer de indicadores para aplicar en el proceso de evaluación es, sin lugar a dudas, necesario.

El proceso de evaluación de la información web

La evaluación de la información telemática, como la de cualquier otro tipo, requiere una planificación concreta en la que se establecerán los criterios que se aplicarán y los métodos mediante los que se pondrán en práctica dichos criterios. Los criterios se materializarán mediante el uso de parámetros e indicadores de evaluación; mientras que lo métodos se desarrollan a través de procedimientos concretos y la ayuda de los recursos necesarios para la realización positiva de los métodos ideados para llevar a cabo el proceso de evaluación. Parámetros, indicadores, procedimientos y recursos son, por tanto, los cuatro elementos clave del proceso de evaluación de la información web.

Los parámetros son los aspectos genéricos que serán evaluados. Se trata de establecer una serie de grandes bloques sobre los que se realizará el análisis y los cuales serán desarrollados en indicadores concretos que dan la información necesaria para cada uno de estos grupos. Existe un elevado número de propuestas o criterios genéricos, como puede observarse en las recopilaciones realizadas por Alastair Smith o Nicole J. Auer que figuran en la bibliografía. Muchas de ellas son coincidentes.

Los indicadores son los elementos que desarrollan cada uno de los parámetros establecidos para el análisis de la información. Son las cuestiones concretas que se evaluarán. Como ocurre con los parámetros, existen múltiples componentes que pueden ser considerados como un índice de la calidad de una página o de un sitio web. Como muestra puede citarse el estudio de Wilkinson y otros autores realizaron en la Universidad de Georgia en el que reunieron 509 criterios o indicadores válidos para el análisis de la información web. Oliver aporta más información sobre esta investigación en el artículo de este autor que aparece en la bibliografía final.

Los procedimientos son los métodos que se emplean para hacer efectiva la aplicación de parámetros e indicadores. Este es el aspecto del proceso de evaluación que presenta un menor grado de desarrollo en cuanto a aportaciones teóricas o experiencias prácticas, ya que sólo hay propuestas aisladas y parciales. La planificación de cualquier proceso de evaluación no puede limitarse a delimitar qué se debe analizar sino también debe decir cómo se debe obtener la información relativa a los elementos que se están evaluando. La evaluación de información web adolece, en estos momentos, de una definición y sistematización de los procedimientos que se deberán aplicar.

Los recursos son los materiales necesarios para el proceso de evaluación. Conocidos qué aspectos serán evaluados y cómo se procederá a su análisis será necesario establecer qué medios humanos, instrumentales y documentales son necesarios. Como ocurría con los procedimientos, los recursos también están poco estructurados y, por lo general, en la planificación y ejecución de la evaluación, sólo se contemplan los recursos humanos y algunos documentales como las listas de parámetros e indicadores y los formularios o plantillas de análisis. Sin embargo, un correcto proceso de análisis de la calidad de la información web debería dejar constancia, antes de comenzar con la evaluación, de todos los recursos que serán necesarios para el desarrollo del mismo.

Propuestas teóricas para el desarrollo de parámetros e indicadores

Como se adelantó en los párrafos precedentes, existe un elevado número de aportaciones en cuanto a los parámetros e indicadores que se deben aplicar para la evaluación de recursos telemáticos. A continuación, se expondrán algunas de las que se consideran más significativas, ya sea por el rigor con el que se presentan, por la evidente utilidad de las mismas o por haber sido desarrolladas por autores de contrastada relevancia en el estudio de la calidad de la información web. Las teorías que aquí se presentan han sido publicadas en fuentes impresas o digitales y la identificación de todas ellas se expone en la bibliografía. En este apartado, por tanto, se pretende dejar constancia del estado de la cuestión, difundiendo los trabajos de mayor relevancia y las conclusiones a las que han llegado los autores de los mismos.

Las aportaciones teóricas más importantes en España se deben al profesor Codina, quien en dos ocasiones ha publicado sus teorías sobre qué criterios deben aplicarse en cualquier proceso de análisis de la información digital. En la primera de ellas (Codina 2000a), aunque indica que toda evaluación puede centrarse únicamente en el estudio del contenido y la autoría, establece catorce parámetros con sus correspondientes indicadores, los cuales divide en tres niveles de interés. Se exponen a continuación los catorce criterios genéricos sobre los que este autor va a desarrollar su primer esquema de indicadores:

1. Calidad y volumen de la información
2. Autoría: responsabilidad y solvencia
3. Legibilidad y ergonomía
4. Navegación y representación de la información
5. Recuperabilidad
6. Interactividad/Computabilidad
7. Velocidad de descarga
8. Servicios adicionales
9. Luminosidad
10. Calidad de los enlaces
11. Actualización de los enlaces
12. Descripción, selección y evaluación
13. Visibilidad
14. Autodescripción

Con acierto, este autor retoma sus teorías en otra publicación editada el mismo año (Codina 2000b), en la cual agrupa los criterios propuestos en sólo seis parámetros, que desarrolla con los correspondientes indicadores y con la novedad de que se facilitan algunas notas aclaratorias, que pueden ser útiles para el proceso de aplicación de los criterios expuestos. En esta segunda aportación de Codina los indicadores son los siguientes:

1. Autoría: adecuación y solvencia de la fuente
2. Contenido: valor intrínseco y volumen de la información
3. Acceso a la información: navegación y recuperación
4. Ergonomía: comodidad y facilidad de utilización
5. Luminosidad: presencia y calidad de enlaces externos
6. Visibilidad: número de enlaces que recibe de otros recursos

También es útil la sistematización de criterios que realiza Nicole Auer (Auer, 1999), quien, además, es responsable de una de la recopilaciones más completas de artículos y proyectos relacionados con la calidad de la información web. Para dicha autora, quien se basa en estudios previos de otros investigadores, los parámetros para evaluar información accesible en Internet son cinco: autoría, cobertura, objetividad, exactitud y actualidad. Para cada uno de los parámetros Auer desarrolla una serie de indicadores, una exposición razonada de por qué es necesario cada parámetro y los métodos que se pueden emplear para aplicar los indicadores sugeridos.

El mismo número de parámetros, en gran medida coincidentes, son los que se deben emplear en opinión de Janet Alexander y Marsha Tate, autoras de uno de los pocos manuales impresos (Alexander; Tate, 1999) sobre cómo evaluar la información web. Un dato interesante del estudio realizado por ambas autoras es que, antes de desarrollar los parámetros de calidad de la información web, comentan estos mismos criterios aplicados al análisis de las fuentes de información tradicionales. Esta perspectiva de la evaluación de las páginas web como fuente de referencia, dota a las teorías de estas autoras de un grado extraordinario de interés para quienes trabajan en unidades de información, tal y como ocurre con el esquema propuesto años antes por Carolyn Caywood. Los cinco criterios de Alexander y Tate son, una vez más, autoridad, exactitud, objetividad, actualidad y cobertura y destinatarios.

Otra monografía de interés sobre el tema es la que firma Alison Cooke y que se presenta como un guía para evaluar la información accesible en Internet (Cooke, 1999). Esta autora prefiere no establecer una lista única de elementos de análisis, sino que desarrolla distintas relaciones de criterios para aplicar en función del tipo de información o servicio que se esté evaluando: sitios web institucionales, páginas personales, directorios temáticos, publicaciones electrónicas, bases de datos, sitios FTP, etc. No obstante, pueden entenderse como parámetros generales los que expone para cualquier fuente de información de Internet, los cuales vienen acompañados de sus correspondientes listas de indicadores, una vez explicado el porqué de cada parámetro o aspecto general de análisis. En definitiva, estos son los criterios propuestos:

1. Propósito
2. Cobertura
3. Autoridad y reputación
4. Exactitud
5. Actualidad y mantenimiento
6. Accesibilidad
7. Presentación y organización de la información
8. Facilidad en el uso
9. Comparación con otras fuentes
10. Calidad global del recurso

Las teorías de Jim Kapoun también inciden en los aspectos hasta ahora expuestos (Kapoun, 1998), ya que este autor habla de exactitud, autoridad, objetividad, actualidad y cobertura como los cinco criterios que se deben aplicar en la evaluación de documentos web. Para cada uno de ellos se aportan dos o tres indicadores que los desarrollan.

Similar es la opinión de Alastair Smith, responsable además de otra de las importantes colecciones de recursos sobre evaluación de información telemática accesibles en Internet y cuya localización también se adjunta en la bibliografía final. En este caso se habla de siete criterios: cobertura, contenido, diseño gráfico y multimedia, propósito, reseñas, usabilidad y costes. De forma muy resumida este autor apunta los indicadores que integran cada uno de los parámetros.

Por último, uno de los proyectos sobre la evaluación de la calidad de las fuentes de información en Internet mejor llevados a cabo es el que desarrollaron Gene Wilkinson, Lisa Bennet y Kevin Oliver en la Universidad de Georgia entre 1996 y 1998. En las fases previas de su trabajo se llegaron a manejar decenas de indicadores, los cuales quedaron reducidos a 125 en la última versión presentada (Oliver, 1997) y que se agrupan en los siguientes once parámetros:

1. Accesibilidad y usabilidad del sitio
2. Identificación del recurso y documentación sobre el mismo
3. Identificación del autor
4. Autoridad del autor
5. Diseño y estructura de la información
6. Relevancia y alcance del contenido
7. Validez del contenido
8. Exactitud y fiabilidad del contenido
9. Navegación dentro del documento
10. Calidad de los enlaces
11. Aspectos estéticos y afectivos

Aparte de estas teorías existen decenas de artículos y proyectos que han establecido patrones de calidad de la información web. No obstante, las aquí reflejadas son algunas de las de mayor trascendencia o importancia en la investigación sobre este tema.

Aplicaciones prácticas de evaluación de recursos web

La evaluación de la calidad de la información web es especialmente importante para los servicios o instituciones que mantienen directorios de recursos en Internet. Estos organismos necesitan basarse en criterios cualitativos objetivos para formar sus colecciones de documentos digitales. Por ese motivo, administradores de contenidos web, responsables de portales, índices o directorios y agencias de evaluación recurren a distintos parámetros, normalmente establecidos por ellos mismos, para analizar y escoger la información que contendrán sus servidores. En otros casos, la selección se realiza de forma más subjetiva, partiendo de los intereses específicos de la institución que realiza la recopilación de los recursos. Por último, es importante destacar cómo algunos de los directorios más consultados de la red, como WWW Virtual Library <http://vlib.org> o BUBL <http://bubl.ac.uk> no poseen criterios específicos de evaluación y parten de elementos personales para la creación de sus índices de recursos telemáticos.

Uno de los servicios de análisis de contenidos web más laureado es Argus Clearinghouse, ahora dependiente de Internet Public Library <http://www.clearinghouse.net>. En este directorio sólo se incluyen guías o directorios de recursos. La evaluación de los mismos se hacía partiendo de los cinco criterios generales que a continuación se exponen:

- Descripción del recurso: explicación de los contenidos, acceso y alcance de los enlaces seleccionados.
- Evaluación del recurso: comentarios acerca de la tipología de los sitios analizados, su utilidad y autoría.
- Diseño: aspectos estéticos y de usabilidad.
- Organización del contenido: métodos empleados para sistematizar las páginas incluidas en las distintas guías de recursos.
- Metainformación: datos acerca de cuáles son los objetivos del directorio, cómo es elaborado y por quién, periodicidad de sus actualizaciones, etc.

Un buen ejemplo de directorio temático que aplica criterios de evaluación de forma estricta es SOSIG, Social Science Information Gateway <http://www.sosig.ac.uk> quien divide el análisis de los sitios incluidos en su índice en tres aspectos: el contenido, la navegación y las características del web. En cuanto al contenido se evalúa su validez (exactitud, fiabilidad, etc.), su autoría y reputación de la fuente y la importancia de la información incluida en el recurso, así como su exactitud, exhaustividad, unicidad y organización de la misma. En cuanto a la navegación por el web se analizarán aspectos como la facilidad de uso, las ayudas que ofrece, el uso de las normas aprobadas, el uso apropiado de la tecnología y la estética. Por último, se evalúa el sitio web de forma general, comprobando la actualidad de la información, la autoridad del administrador del web y el funcionamiento del sistema.

Uno de los recursos de información francófonos más interesante es Sapristi! <http://csidoc.insa-lyon.fr/sapristi/digest.html>, quien aplica también una serie de criterios de calidad antes de incluir sitios web a su directorios. En este caso los parámetros que se analizan son el contenido, el organismo y autor responsables, el punto de vista del que se parte para la elaboración del web, la información previa que hay sobre el sitio y la veracidad de los datos incluidos en el directorio. También merece la pena incluir en este panorama de aplicación de criterios de calidad para la selección de recursos web, el esquema que sigue la Commission "Français et Informatique" <http://users.skynet.be/ameurant/francinfo/index.html>, quien basa el análisis que realiza de los recursos informativos que integran su directorio temático en las siguientes cuestiones:

- ¿quién?: autoría
- ¿qué?: contenido
- ¿dónde?: área geográfica
- ¿cuándo?: actualidad
- ¿cómo?: exposición de los datos
- ¿por qué?: finalidad del web

También es destacar el Internet Scout Project <http://scout.cs.wisc.edu>, que se ha convertido en todo un referente de los directorios analíticos existentes en Internet. Como criterios fundamentales para la selección y posterior análisis de recursos web se emplean los siguientes: contenido (alcance, usuarios, propósito, actualización, exactitud), autoridad de los responsables en la materia, mantenimiento de la información, presentación (navegabilidad, usabilidad, organización de la información), disponibilidad o validez de los enlaces seleccionados y coste de la información (gratuidad o pago).

Existen numerosos ejemplos de criterios de los que se parte para la selección de sitios o páginas web, aunque muy pocos han sido desarrollados con rigor o están siendo aplicados con propiedad. Esto se debe a que hay escasas entidades encargadas de la evaluación de recursos y menos aún las que no tienen intereses comerciales. Por este motivo, se puede decir que la evaluación de recursos telemáticos no se está llevando a la práctica de forma correcta, a pesar de que nadie duda de la importancia de la misma.

Bibliografía

Alexander, J.; Tate, M.A. (Alexander; Tate, 1999). Web wisdom: how to evaluate and create information quaity on the Internet. Mahwah: Lawrence Erlbaum Associates, 1999.
Auer, N.J. (Auer, 1999) Evaluating internet information [en línea]. <http://www.lib.vt.edu/research/libinst/idle/evaluating.html> [Consulta: mayo 2002]
Auer, N.J. Bibliography on evaluating internet resources [en línea]. <http://www.lib.vt.edu/research/evaluate/evalbiblio.html> [Consulta: mayo 2002]
Caywood, C. Library selection criteria for WWW resources [en línea]. Public libraries, may/june 1996, p. 169. <http://www.roanoke.infi.net/~carolyn/criteria.html> [Consulta: mayo 2002]
Codina, L. (Codina, 2000a). Evaluación de recursos digitales en línea: conceptos, indicadores y métodos. Revista Española de Documentación Científica, 2000, vol. 23, n. 1, p. 9-44.
Codina, L. (Codina, 2000b). Parámetros e indicadores de calidad para la evaluación de recursos digitales. En Jornadas Españolas de Documentación (7. 2000. Bilbao).La gestión del conocimiento: retos y soluciones de los profesionales de la información. Bilbao: Universidad del País Vasco, 2000, p. 135-144.
Cooke, A. Neal-Schuman authoritative guide to evaluating information on the Internet. New York: Neal-Schuman, 1999.
Kapoun, J. (Kapoun, 1998). Teaching undergrads WEB evaluation: a guide for library instruction [en línea]. <http://www.ala.org/acrl/undwebev.html> [Consulta: mayo 2002]
Noël, É. Sélectionner des sites Internet. Bulletin des Bibliotèques de France, 2001, t. 46, n. 1, p. 96-104.
Smith, A. (Smith, 1997). Criteria for evaluation of Internet information resources [en línea]. <http://www.vuw.ac.nz/~agsmith/evaln/index.htm>   [Consulta: mayo 2002]
Smith, A. Evaluation of information sources [en línea]. <http://www.vuw.ac.nz/~agsmith/evaln/evaln.htm> [Consulta: mayo 2002]
Wilkinson, G.L. Bennet, L.T; Oliver, K.M. (Oliver, 1998). Evaluating the quality of Internet information sources [en línea]. <http://www.edtech.vt.edu/edtech/kmoliver/webeval/webeval.html> [Consulta: mayo 2002]