Miércoles, 02 Octubre 2019 15:35

Luis de la Peña

¿Quién evalúa nuestra investigación y con qué fin?

Dr. Luis de la Peña y Dra. Ana María Cetto

Comité de ciencias Físicas, Químicas y Matemáticas comite



El trabajo de investigación, cualesquiera que sean su especialidad y su naturaleza —teórica, experimental u observacional, meramente académica o aplicada, de interés local o general—redunda tarde o temprano en una publicación. Aunque en el camino pueda haber otros productos, quizá de mayor importancia, la publicación es el destino final. Esto es general y ocurre con la investigación científica, la tecnológica, la humanística, … en campos tan diversos como las ingenierías o la medicina, la astrofísica, las matemáticas, la historia, la arquitectura o el arte: el nuevo conocimiento encuentra su hogar permanente en alguna publicación. Esto incluye la investigación industrial, en cuyo caso la “publicación” es —o debiera incluir— una patente.

Así ha sido internacionalmente desde hace 350 años, por lo que es de esperarse que se hayan establecido ya los mecanismos y criterios adecuados para evaluar y calificar el trabajo publicado. Y sí, en efecto existen mecanismos y se aplican criterios, pero no son precisamente resultantes del trabajo informado y detallado de las academias, universidades y demás instituciones directamente responsables de la creación del nuevo conocimiento. Ni en nuestro país ni en otros lugares donde existen prácticas de evaluación asociadas a la investigación, son éstas el resultado de una política científica madura y bien establecida.

No es complicado entender el proceso por el cual se ha llegado a tal situación en el curso de las últimas décadas. El fenómeno se inició de manera llamémosla “natural”; natural al menos dentro del sistema económico que ha impregnado la mayor parte del mundo contemporáneo. Inicialmente las revistas de temas afines se acercaron para compartir un mismo proceso editorial y reducir costos, tiempos y esfuerzos. El éxito de esta solución fue tal que se extendió hasta dar lugar a una industria editorial concentrada en algunas pocas, muy pocas, empresas. He ahí el meollo: se trata de empresas editoriales, no de instituciones académicas que difunden y dan a conocer los resultados del trabajo de sus investigadores. Lo que les interesa a dichas empresas es lo que le interesa a toda empresa mercantil: que su “mercancía” produzca los mayores réditos posibles. En pocas palabras, los trabajos científicos que resultan del esfuerzo investigativo se han convertido en materia prima para el negocio (jugoso, por cierto) de un muy reducido grupo de empresarios con poderes multinacionales.

En años recientes, importantes universidades de diversos países, incluidos los más ricos del orbe, se han visto obligadas a entablar duras negociaciones con estas empresas, pues los costos de suscripción a las revistas que publican los trabajos, incluidos los de sus propios investigadores, han alcanzado niveles impagables. En ocasiones esto ha significado la cancelación de suscripciones a revistas consideradas de importancia central para la investigación.

En tales condiciones no es de extrañar que paralelamente haya surgido a nivel internacional un movimiento reclamando el derecho al acceso libre del conocimiento. El principio es muy simple: el conocimiento no es una mercancía, o no debiera serlo. Esto significa, entre otras cosas, que debería existir acceso libre y abierto al conocimiento generado con dinero público en instituciones públicas; se trata en efecto de un bien público. Bajo este precepto es que se producen y circulan, de hecho, la inmensa mayoría de las revistas científicas editadas en nuestro país y en el resto de América Latina. Los grandes empresarios de la industria editorial trasnacional dicen que sí, que están de acuerdo con el acceso abierto… a su manera. Están de acuerdo en colocar en la red las revistas, y en que se pueda consultar el artículo de interés —pagando por ello. El precio de cada lectura es de decenas de dólares. O bien, como alternativa, que la institución del autor pague varios miles de dólares por la publicación del artículo para que éste pueda ser declarado “de acceso abierto” y consultado sin pagar. Es el precio que pagan las instituciones por haber cedido la tarea editorial a la iniciativa privada.

Lo que se ha logrado hasta el momento con las negociaciones es una cierta reducción de precios a las universidades más fuertes, o bien a consorcios de universidades que representan miles de investigadores, como es el caso de México. El resto o sigue pagando, o pierde el acceso a las publicaciones que requieren sus investigadores. Pero el negocio continúa.

De primera importancia han sido, sin embargo, las repercusiones de este proceder en el aparato investigativo internacional y, naturalmente, de manera acentuada en países que, como el nuestro, cuentan con menos recursos para defenderse o adoptar una postura propia. Una de las consecuencias directas de tales políticas nos es de interés particular. Por razones del manejo editorial comercial resulta conveniente clasificar las revistas especializadas en función de su penetración en el mercado, empleando para ello lo que se ha convertido en un índice de consumo, el llamado factor de impacto de la revista. Ideado hace más de seis décadas como un indicador de los patrones de citación y de las relaciones entre grupos de investigación, en el curso del tiempo el factor de impacto ha adquirido una importancia comercial para las revistas y paralelamente ha visto trastocado su sentido, al grado de emplearse ahora para “medir” la calidad e importancia científica de cada artículo publicado en ellas. Esta grave distorsión —determinar el valor científico de una investigación por el valor de mercado de la revista en que se publica— se ha convertido así en método central de evaluación del trabajo investigativo. Agréguese a ello que no se toman en cuenta las múltiples y profundas diferencias entre las diversas especialidades y tópicos al aplicar un rasero común, con el agravante de que el conjunto de revistas empleadas como fuente para la medición de este índice es manipulado a conveniencia y discreción por las empresas editoriales. Con este proceder, las instituciones en que se lleva a cabo la investigación han cedido en la práctica la evaluación de la tarea investigativa y la definición de su temática dominante a manos privadas, ajenas a esta tarea. Pero aún hay más.

La práctica de utilizar el factor de impacto de las revistas como índice de la calidad del trabajo investigativo individual se ha extendido a los comités evaluadores de todo tipo y nivel, los cuales adoptan sin reparo una herramienta de fácil aplicación que les aligera considerablemente el trabajo de evaluación.

Ahora una porción importante de los propios científicos y tecnólogos aceptan, e incluso promueven este proceder. Reconociendo las deficiencias propias del factor de impacto, diversas empresas, e incluso investigadores, han ideado una variedad de indicadores alternativos para “medir”—dicen evaluar— la calidad del trabajo creativo. La distorsión no ha desaparecido, sino que ha adquirido formas más variadas. Índices los hay ahora para escoger. Sólo que sus proponentes y usuarios no logran ponerse de acuerdo en cómo usarlos y qué es lo que realmente miden, si es que en efecto miden algo. Un ejemplo inmediato sirve para ilustrar el punto: un científico recibe de una de las empresas dominantes (por medio de su “servicio de indexación”, también de paga) 20 puntos por su artículo, digamos, en tanto que otra de las empresas, no menos popular entre los comités evaluadores, lo califica con 40 puntos. Será cosa de suerte si el comité evaluador (o el propio autor) cae en el 20 o en el 40. Inconsistencias como ésta y otras se encuentran en la red; quizá el caso resulta no tan desproporcionado normalmente, pero se da. El hecho central es, sin embargo, que se insiste en medir la calidad de los resultados publicados por un investigador no por su valor e interés científico, tecnológico o social. sino por una variedad de elementos ajenos a la labor investigativa.

El criterio de evaluación más popular en los círculos académicos es el número de citas que recibe un trabajo. Éste es el elemento sustancial empleado por todos los índices, de una manera u otra. Pero es claro —al menos para quien quiera verlo— que este criterio depende de un número significativo de elementos externos a la calidad intrínseca del trabajo. Es fácil percibirlo con un ejemplo tomado del natural: una investigación detallada de los acuíferos nacionales, si acaso logra publicarse en una de las grandes revistas de circulación internacional, recogerá mucho menos citas que otro trabajo de calidad similar publicado simultáneamente en el mismo número, pero cuyo tema es, digamos, de interés directo en Estados Unidos (en cuyo caso, además, seguramente se publicó sin dificultad).

Un efecto colateral de esta situación es el predominio del inglés como lengua a usar, aun tratándose de investigaciones de problemas de relevancia local. Por ejemplo, temas agrícolas o de saneamiento en un país como el nuestro se debieran publicar en la lengua local, pues están dirigidos al consumidor local. Pero si se desea ganar puntos con ellos frente a las comisiones dictaminadoras antes que garantizar su aprovechamiento, el autor preferirá publicar en inglés. Con mayor razón aún si estos puntos impactan su ingreso salarial y el financiamiento de sus proyectos.

Afortunadamente surgen cada vez más voces que reclaman, por un lado, la recuperación de la tarea editorial por parte de las instituciones académicas y por el otro, una revisión a fondo de los criterios y procedimientos de evaluación. Las iniciativas, una vez más, no surgen de aquellos que, como nosotros, son los más afectados, sino de científicos de los países del Norte preocupados por corregir los sesgos actuales y fortalecer un ecosistema de comunicación científica de acceso abierto, no comercial. En este contexto, nos toca hacer lo propio. Reconociendo que la evaluación juega un papel importante en el desarrollo de la ciencia y la tecnología y sus interacciones con la sociedad, es tiempo de que hagamos una revisión crítica de los actuales mecanismos y criterios de evaluación, con miras a redefinir sus objetivos y alcances. Por lo mismo, este esfuerzo de revisión debe pasar por valorar y promover nuestras propias revistas y contribuir a elevar su calidad, para que formen parte, por derecho propio, del ecosistema internacional de comunicación científica de acceso abierto.



Investigador del Instituto de Física de la UNAM

Inicio