XXX

Perversiones, paradojas y traumas en la evaluacin cientfica

Resumen: Con ocasin de la aparicin de un nuevo parmetro de estimacin de la repercusin de la actividad cientfica, el ndice h, que probablemente ser tenido en cuenta de ahora en adelante en los procesos de evaluacin, el autor ofrece una reflexin personal sobre el uso inadecuado de este tipo de parmetros en los procesos de evaluacin cientfica y hace notar cmo esta perversin acaba produciendo sobre la actividad cientfica el efecto contrario al inicialmente perseguido.

Introduccin

Cada una de las dos m itades de la humanidad viene viviendo desde hace si glos bajo el peso del parmetro que tasa y aquilata de forma implacablemente objeti % .# Precedentes de obligada lectura va el valor de su hombra (el tamao del pene) o su fem inidad (la m edida del busto). No poda ser que en este siglo de "Porque los dioses perciben el futuro, los haremos y algoritmos, de dinacuatros, isos hombres el presente, y los sabios lo que se Pablo Espinet Rubio avecina". Haciendo buena esta frase de y aenores, siguiera sin someterse al metro la vala del cientfico; que, si en otro tiempo fue personaje Filstrato sobre la que Kavafis construy un poema,141 bohemio, a veces cortesano y las ms montaraz, es ya hoy Antonio Luque y Pascual Romn (ste ltimo buen y querido domesticado funcionario o aspira a serlo en cuanto pueda. El amigo desde los tiempos en los que el nico ndice que nos ltimo intento de medida de tan inaprensible cualidad es el interesaba era la lista de libros de lectura prohibida por la Iglesia Catlica) se han apresurado a alertar a las gentes que ndice A.!12! nada omos sobre "el clamor secreto de sucesos que se acer Vaya por delante que el susodicho me despierta, de entrada, cierta simpata, ya que se encuentra (junto con la tensin arte can ".I4! En su reciente artculo en esta revista, Antonio y rial) entre las pocas cosas que no bajan con la edad. Todo Pascual nos han puesto al corriente de las caractersticas del tiende a aflojarse, a arrugarse, a desplomarse con el paso de nuevo ndice, incluyendo algunos comentarios sobre su cl los aos, pero s que siempre podr mostrar en mi escudo culo, sus virtudes y sus defectos, as como un ejemplo de apli herldico, al lado de mi apellido, un ndice h rampante sobre cacin a los qumicos espaoles.!'] Con la elegancia y bonhosalamandra alqumica (Figura 1). ma que le caracterizan, mi buen y admirado amigo Jos Elguero, universalmente respetado, nos ha regalado a su vez una generosa diseccin de algunos aspectos de su propia his toria como autor de publicaciones cientficas, de la que desti la un prudente escepticismo frente al significado de los nmeros.!5! Quisiera yo, en uso de mi ocasional desinhibicin expresiva, aadir algunos comentarios y opiniones, por lo que puedan valer mi experiencia como evaluador (ms larga e intensa de lo que yo quisiera) y como cientfico en el sistema, y la observacin de mis propias miserias.

no auguran nada bueno. Puede que entre tanto, Gobierno mediante, se multiplique en aparente paradoja la poblacin de fun cionarios cientficos, pero es que estos dos conceptos no son la misma cosa.

Espinet
Dormandic
Figura 1. Mi escudo herldico.

O bjetivo de la evaluacin cientfica

En una sociedad de libre concurso la Administracin del Estado debe procurar justicia en la seleccin entre candidatos. El objetivo de la evaluacin (en nuestro caso cientfica y acadmica) es seleccionar a los mejores. No ya para ser justo con ellos, sino tambin para garantizar el mejor servicio al propio Estado. Pero cmo garantizar esa justicia cuando los mritos no son de determinacin tan directa como lo es un registro de tiempo en una carrera o el peso que se levanta en una alzada? La respuesta que se da a ese problema es la uti lizacin en exclusiva de parmetros objetivos. Obsrvese que de entrada se renuncia a aspirar a la objetividad como cuali dad asociada a las personas considerndola, por lo visto, una virtud humana inalcanzable. Lo que significa que cuando se habla de parmetros objetivos se quiere decir, en realidad, parmetros numricos. Universidades, tribunales, ANECA, agencias de evaluacin autonmicas y otras instancias seme 2006 Real Sociedad Espaola de Qumica

No hay nada, pues, que me mueva personalmente a no acogerlo con jbilo entre nosotros. Nada, si no fuera porque temo que, igual que la viruela espaola diezm la poblacin nativa en los tiempos de la conquista americana, este virus /?, diseado en una sociedad sajona y protestante, produzca entre nosotros cepas mutantes que diezmen la poblacin cientfica. Las precedentes mutaciones utilitarias de los datos ISU3! y de los sexenios de investigacin como parmetros de evaluacin

Qumica Inorgnica, Facultad de Ciencias, Universidad de Valladolid, P Prado de la Magdalena s/n, 47071 Valladolid C-e: espinet@qi.uva.es
An. Qum. 2006, 102(3), x-x www.rseq.org

jantes se han aplicado, en ocasiones con una creatividad digna de mejor cabeza, a la elaboracin de frmulas y plantillas, a veces detalladsimas, para obtener la cifra precisa de nuestro justiprecio. El proyecto de modificacin de la LOU ya recoge la pro puesta del Gobierno de sustituir las habilitaciones presen ciales por evaluaciones de mritos, como se viene haciendo con las acreditaciones de la ANECA y otras agencias autonmicas, en un proceso en el que las personas encargadas de la evaluacin no podrn ser sino meros bacos encamados.

tado el mbito social de aplicacin al procedimiento de eva luacin son de verdad los mejores cientficos los selecciona dos y, en consecuencia, los supervivientes (Figura 3). Mi opinin es que los sistemas de evaluacin utilizados, aunque han estimulado la actividad, no llevan al fin inicialmente perseguido.

El evaluado com o personaje im aginario.

Si nadie lo remedia, en este sistema de sordos y mudos (no me resisto a bautizarlo como anecoico), se parte de la base de que hay que juzgar a los concursantes como si fueran entes vir tuales o personajes fallecidos, con quienes no cabe el dilogo, la entrevista, ni el intercam bio directo de expresin inteligente. El ndice h y todos sus compadres (nmero de publicaciones, docencia impartida, ndice de impacto de las revistas, participacin en proyectos, nmero de citas por artculo, "gnero" y otros varios asuntos "objetivables"), habitualmente mixtificados mediante agrupamientos de revis tas en unos pocos niveles, coeficientes correctores y el resto de artimaas niveladoras al uso, pasan a sustituir a nuestros ojos, nuestro cerebro y nuestro criterio profesional. Y el con cursante, desprovisto de su alma, su carne, su personalidad, su inteligencia oratoria y dialctica, sus motivaciones y sus aspiraciones, ser como un insecto del jursico atrapado en la fosilizada gota de mbar de su currculum (Figura 2). Y no nos queda otra que adquirir el mbar sin saber muy de cierto si el insecto puede realmente volar o tiene al menos intencin de hacerlo.

Figura 3. Somos como nios.

La perversin de los ndices.

Supongamos de entrada que los ndices elegidos midieran realmente la propiedad que intentamos cuantificar: la calidad cientfica. Parece claro que este supuesto slo sera aplicable al nmero de citas y al ndice h, puesto que no necesita dis cutirse que el ndice de impacto de una revista da nicamente una media del xito de todos sus artculos, que no es aplica ble a cada uno de ellos en concreto. Pues bien, aun en el caso supuesto, que representa el ptimo de aproximacin a una evaluacin numrica, el sistema de medida tiene muchas debilidades: 1) Las condiciones de aplicacin de los ndices no se cumplen. Para cualquiera de estos ndices (n de citas y h) hay que excluir las autocitas, pero esto no se hace. Esta es una primera gigantesca perversin, en la que caen los propios Antonio y Pascual en su artculo (aunque advirtindolo explcitamente), pero tambin cualquier comisin de eva luacin que haya llegado a ese improbable nivel de precisin en su trabajo (en este caso sin advertirlo a nadie). Dado que cualquier escrutinio que tenga que aplicar rigurosamente la exclusin de autocitas requiere una cantidad de trabajo con siderablemente mayor, se acepta la perversin del ndice tenindolas en cuenta. As que, en la prctica, se aplica, como mucho, el ndice "pervertido". Incluso en casos en que la autocita no sea una estrategia, es inevitable una incidencia elevada de autocitas cuando se pro ducen muchos artculos y ms intensa cuando en el evaluado se de una persistencia prolongada en el tema de trabajo. En otras palabras, la incidencia positiva de la autocita en los indi cadores "pervertidos" afecta desigualmente a la poblacin evaluada. Ni los muchos artculos ni la perseverancia temti ca son malos en s mismos, pero tampoco son garanta de ca lidad cientfica.

Figura 2. El concursante.

O bjetivo ante la evaluacin cientfica

Olvidamos demasiado a menudo que, aunque los designios de Dios puedan ser inescrutables, las leyes de Newton son inexo rables. Deberamos tenerlas en cuenta para escrutar el futuro derivado de cualquier perturbacin del sistema. La tercera ley (o Principio de Accin y Reaccin) se aplica en este caso de la siguiente forma: Una persona situada ante su evaluacin cientfica orientar su actividad a obtener un resultado positi vo de esa evaluacin. En otras palabras, un escenario de eva luacin condiciona la respuesta y actuacin futura de la sociedad evaluada, tanto ms cuando sta conoce perfecta mente la seleccin darwiniana, en la que sobrevive el ms apto, entendido como tal el mejor adaptado al escenario. Nada que objetar siempre que, cerrado el crculo, se haya mantenido por el camino el objetivo inicial; es decir, si adap

Por otro lado, el ndice h no est relacionado directamente con el nmero total de citas. Si se limita la bsqueda de ndices h a un mbito de investigadores con alto nmero total de artculos o de citas (mucho mayor que el propio nmero h resultante), se perdern inevitablemente por debajo del corte investigadores con ndices h superiores a algunos de los que estn por encima del corte, que los han conseguido con un nmero menor de artculos o de citas totales. As ocurre en el caso estudio de Antonio y Pascual. Aunque este problema no opera cuando ha de realizarse una clasificacin entre una lista concreta de individuos, no debe olvidarse que persiste la inci dencia de las autocitas en el ndice h "pervertido". 2) E l trabajo de equipo no se puede atribuir a personas concretas. La actividad investigadora en muchas ciencias (incluida la nuestra) suele ser en equipo. Ocasionalmente se encuentran grupos en cuyas publicaciones aparecen listas de autores relativamente largas, que se repiten y mantienen en el tiempo. Este fenmeno puede ser el resultado de una estrate gia del grupo para beneficio de sus componentes, o bien de una autntica forma de organizacin del trabajo, en la que cada componente aporta una habilidad o actividad especfica. El primer caso es, desde luego, fraudulento en origen, mien tras que el segundo puede ser simplemente una legtima opti mizacin del sistema de produccin cientfica. En ambas cir cunstancias el producto cientfico puede ser excelente e inob jetable. Sin embargo, es claro que ese resultado global no facilita conocer el valor individual de cada firmante. Tampoco es aceptable una correccin obtusa como dividir el valor total por el nmero de autores. En definitiva, poco nos dicen esos nmeros mudos acerca de la persona disecada como una mari posa y pinchada con un alfiler en el papel de su CV. 3) A veces el bistur est mellado. Y as sale el corte. Los datos del ISI no corrigen errores materiales en las citas origi nales, lo que puede tener su importancia. Lo explicar con un ejemplo sencillo. Imaginemos que uno de nuestros artculos ha recibido 10 citas en total. Sin embargo, debido a un inicial error material alguien equivoc la pgina de la referencia y l y otros hicieron copy-paste de la referencia equivocada hasta alcanzar 5 citaciones con el error. La consecuencia es que en el ISI tendremos dos artculos, cada uno con cinco citas. Obviamente esto aumenta nuestro nmero de artculos en una unidad, y no altera nuestro nmero total de citas, pero dis minuye nuestro promedio de citas por artculo, y merma la posibilidad de escalar algn puntito en el ndice h. Si nuestro h fuese 9, este artculo, con 10 citas reales, no lo hara subir a 10. Puede parecer una tontera, pero invito a cualquiera que tenga un CV un poco largo a que lo examine prestando aten cin a la repercusin de los errores en las citas, o de la publi cacin de inoportunas corrigendas. Os llevaris alguna sor presa. Como idea malvola, la utilizacin deliberada de estos defectos puede permitir socavar el trabajo de un enemigo mucho ms all que simplemente ignorarle. Citarle con errores es un torpedo a la lnea de flotacin de su ndice h. Incluir sus trabajos en una revisin, o citarle en la introduc cin de una publicacin para, en las siguientes ocasiones, enterrarlo en la cita de esa publicacin nuestra and references therein es, sin embargo, un arma de destruccin ms masiva que afecta a todos los parmetros. Se viene utilizando. 4) Cuando los ndices se abandonan. Pero la prctica es an peor. En los mbitos habituales de evaluacin incluso estos ndices "pervertidos" individualizados resultan demasiado

trabajosos. As, se acaban cursando otros protocolos segn los cuales el evaluador se limita a contabilizar el nmero de pu blicaciones en revistas "segn su ndice de impacto", pero previamente se impone que estas se clasifican en tres o en cuatro grupos. Todas las de cada uno de los grupos pasan a cobrar el mismo valor de impacto. Puede imaginarse que slo se vendieran cuatro tallas de zapatos? Pues eso es lo que se hace frecuentemente al evaluar. Suficiente. Slo pretendo argumentar que los parmetros numricos son datos tiles, pero en s mismos no son una medida de nada y mucho menos la medida de una persona, de su capacidad, de su madurez, ni de su valor y potencial cien tfico o acadmico. Hay otros datos que se utilizan, aparte de los ndices citados: En cuntos proyectos ha participado, cuntos diplomas ha coleccionado, cuntas clases ha impar tido. Tenemos un sistema de evaluacin en el que aburrir y desesperar a los alumnos diez aos puede tener una valo racin el doble de positiva que haberlo hecho solamente durante cinco. Y recibir 200 citas denunciando que nuestro resultado no es reproducible (caso no infrecuente en reas de lo bio ) nos puede situar en el primer lugar de la evaluacin. Parece que, en breve, otro de los aspectos con incidencia en la valoracin (sobre todo de instituciones) estar relacionado con el llamado "gnero". Desconozco todava si, llegado el momento, habr que incluir como coeficiente de "gnero" el tipo de ndices a los que yo aluda en el primer prrafo de este desahogo.

La perversin de los conceptos.

Pero, es tan grave la perversin de los ndices? Desde luego. La aceptacin y generalizacin de esos ndices como medida de la ciencia y del cientfico ha producido ya resultados abe rrantes en el desarrollo y proyeccin de la ciencia espaola y, en buena parte, de la europea. Veamos algunos. 1) La desaparicin de la Ciencia como objetivo. Parece que la bsqueda y el riesgo escasean en nuestra investigacin. La aplicacin de lo que sabemos predomina sobre la bsqueda y penetracin en lo que desconocemos. Pero la Ciencia no se puede jugar a la defensiva. Investigar, en Ciencia, no puede ser sino intentar hacer lo que no sabemos hacer. En estos momen tos es relativamente fcil publicar en una revista de nivel razonable o alto slo con resultados previsibles y prescindibles pero bien realizados. La mayor parte de los artculos son as. La competencia de las revistas en su oferta de rapidez, ndice de impacto, color, etc. abona la idea de que el fin de la inves tigacin es la publicacin en s misma, no tanto el contenido ni el proceso (el objetivo ms importante de la obra alqumica era la transformacin del alquimista). Esta estrategia editorial les ha permitido convertirse en el rbitro real de la situacin, a veces tambin en el Petronio de la moda cientfica. Pero la Ciencia no es siempre prisa, ni mercado, ni policroma. Aceptamos gustosos ese juego garantista1 frente al inevitable tormento de la inseguridad y la duda en uno mismo que la ver dadera bsqueda produce. Ya no buscamos ciencia, buscamos publicaciones. Y, claro est, predominantemente ya no encon tramos ciencia, encontramos publicaciones.
1 Mi corrector de espaol me advierte de que la Real Academia de la Lengua Espaola recoge el vocablo garantizador y no garantista. En este caso la RAE no parece haber atendido todava el lenguaje del pueblo.

2) La desaparicin del cientfico como sujeto. Acomodados a esa situacin entregamos nuestra propia conciencia cientfi ca al director espiritual que son los ndices. Nuestro criterio son los ndices, nuestra autoafirmacin son los ndices, nues tra absolucin son los ndices. No sabramos tal vez justificar por qu hacemos lo que hacemos, por qu merece nuestro esfuerzo y el de otros, pero podemos responder que est pu blicado en el JACS. Y podemos responderlo ante nosotros mismos, si alguna vez nos permitimos una duda de concien cia. Nos entregamos al juego del intento de engao ajeno y propio, procurando vender nuestros resultados por ms de lo que nosotros mismos creemos que valen: "Se la han quedado en ...", "La he colado en ..." son expresiones que a nadie resul tan extraas al referirse a una publicacin. 3) La desaparicin del maestro. Atrapados en esa trampa que hemos creado e impuesto nos movemos como respon sables de quienes se incorporan a nuestro grupo de trabajo, buscando araar puntos que les den una oportunidad de super vivencia. Y as les alimentamos con el mismo veneno que nos enferma y les educamos en la misma doctrina que nos aliena. En esta vorgine de coleccionismo de nmeros dejamos atrs nuestra obligacin de maestros y descuidamos la de profe sores. Es posible que seamos todava mejores docentes que quienes no investigan y mejores investigadores que quienes no ensean, pero no me cabe duda de que somos mucho peo res en ambos aspectos de lo que pudiramos y debiramos ser si no estuviramos corriendo locamente como el Conejo Blanco de Alicia (Figura 4): "Oh dear, oh dear, I shall be too late "J6! Y sacamos del chaleco el reloj que nos marca el ndice h y apretamos el paso.

hacen frente a la incertidumbre de nuestra vida y de nuestra muerte. Tal vez por eso los ndices, como las religiones, quedan a salvo del descrdito mediante anlisis intelectual. Lo que me hace presumir que no habr convencido a casi nadie. Mi experiencia, como investigador y como observador, me indica que se madura y se aprende ms en la lucha contra el fracaso que en la explotacin del xito. Por eso puedo en oca siones conceder ms aprecio a la realizacin de diez publica ciones diferentes que a la de cien veces la misma publicacin con distintos collares. No es esto lo que concluyen los ndices numricos, y por eso temo que su mal uso pueda acabar desterrando de la arena cientfica a los verdaderos buscadores de conocimiento. La eliminacin de pruebas con concurrencia simultnea, presentacin personal y discusin, no deja otra herramienta a los evaluadores que la de esos ndices. La consecuencia lgi ca debera ser eliminar a los llamados "profesores de recono cido prestigio" de las comisiones de evaluacin, para que no sufran, ya que no hay expectativas de que puedan obrar apli cando el criterio que su reconocido prestigio les supone. O es que se necesitan slo como coartada del procedimiento? En fin, como ocurri con motivo del hallazgo de oro en California en 1849, la fiebre del ndice ha inflamado a la poblacin investigadora, y provistos de picos y palas, a veces incluso a lomos de un asno, nos hemos lanzado a correr y cavar sin pausa ni seso. No habremos de extraarnos si lo nico que alcanzamos a recolectar es el oro de los tontos (Figura 5).2

Figura 5. El oro de los tontos

Referencias
Figura 4. El Conejo Blanco.

A modo de conclusiones
Quiero concluir con unas pocas reflexiones, personales y en consecuencia discutibles. Es ocioso decir a estas alturas que mi opinin sobre la apli cacin, tal como se hace, de ndices en la evaluacin de per sonas e instituciones es negativa, y mi diagnstico sobre su influencia en la evolucin de la ciencia es pesimista. Estamos aquejados de un grave ataque de hacheindicitis y los sntomas febriles son muy evidentes. Pero no queremos reconocerlos porque los ndices nos dan asideros para sentirnos seguros frente a nuestra propia incertidumbre, como las religiones lo

[1] A. Luque, P. Romn, An. Quim. 2006, 102(2), 11-17. [2] J. E. H irsch , Proc. Nat. A cad. Sci. USA, 2005, 102, 16569-16572. [3 ] http://portal.isiknow ledge.com . [4] C. P. Kavafis Poemas, 2a edicin, p. 64. Seix Barral, Bar celona, 1994. [5] J. Elguero, An. Quim. 2006, 102(2), 18-24. [6] Lew is C arrol, A lic e's A d ven tu res in W onderland and Through the Looking-Glass, The Centenary Edition, p. 9-10. Penguin Books, London, 1998.
2 Dada la prctica desaparicin de las pantallas de las pelculas del Oeste, tan abundantes en mi infancia, tal vez no est de ms aclarar que el oro de los tontos es la pirita, FeS2. Me consta que hay piritas aurferas, pero son las menos.