Debido a que la Comisión Europea no es un
organismo de acreditación y que sus evaluaciones se limitan a
la asignación de labels de calidad (que se traducen en
subvenciones para ejecutar un proyecto de cooperación), los
objetivos de la evaluación de las titulaciones así como
los criterios e indicadores para medirlos no coinciden a menudo con
los que se utilizan a nivel nacional por los estados miembro para
evaluar las titulaciones. Sin embargo, es necesario que las
diferentes evaluaciones sean conscientes de las
características de estos certificados para poder valorar la
validez de algunos de los aspectos valorados a nivel europeo.
En los programas europeos la evaluación de
titulaciones siempre se realiza desde la perspectiva del
estudiante. Es lo que se denomina un “outcome-based
approach” en la evaluación de titulaciones y proyectos.
Esto se valora en términos de input de ingreso y output de
salida, tanto para estudios de grado y postgrado, y se valora
especialmente los mecanismos de monitorización y mecanismos de
control de la calidad de la titulación en su conjunto.
La mayor diferencia en objetivos entre las
evaluaciones de calidad y acreditación nacionales y las de los
programas europeos son su naturaleza: en las evaluaciones de
Bruselas el objetivo es el de realizar un ranking de propuestas de
titulaciones que obtendrán el label de calidad en base a la
cantidad de presupuesto de la convocatoria y la cuantía
solicitada, por lo que se trata de una evaluación de
máximos; en cuanto a las evaluaciones de acreditaciones
nacionales (o de homologación de las CCAA) se trataría de
evaluaciones de mínimos. Así, muchas propuestas de
titulaciones europeas no obtienen el label de calidad no porque no
tienen la calidad suficiente para ello, sino porque existen otras
propuestas de mayor calidad en base a los objetivos de la
convocatoria. Un buen ejemplo de ello es el label Erasmus Mundus,
cuya concesión permite acceder automáticamente a
financiación comunitaria para ese título de master, de
forma que el número de consorcios de instituciones a las que
asignaba el mismo está limitado por la cantidad del
presupuesto asignado a cada convocatoria. Sin embargo, también
es cierto que existen algunos casos de certificación por parte
de la UE, como son el ECTS- label y el DS-label XXXXXhay dinero?XXXXXX.
Criterios
La diferencia en objetivos entre los programas
evaluados en la Comisión Europea y los empleados en
evaluaciones o acreditaciones de la ENQA (o la ANECA) se traduce
también en que se emplean criterios de evaluación que
pueden ser en ocasiones muy diferentes. Esto implica que la
práctica totalidad de las evaluaciones de calidad de las
titulaciones por parte de Bruselas no pueden sustituir ni en su
totalidad ni en parte a las evaluaciones de acreditación
nacionales de las agencias de cada estado miembro.
La evaluación de titulaciones y de los
programas europeos se orienta en Bruselas siempre desde la
perspectiva del estudiante, y prácticamente muy poco en el
beneficio institucional o de los profesores. Esta perspectiva se
dice que sigue un outcome- based approach (una
aproximación orientada a resultados), de forma que se valora
la titulación desde la perspectiva del input y output (el
perfil de ingreso de los estudiantes y las competencias que
adquirirán, valorando para ello la validez y calidad del
programa de estudios y las instituciones participantes junto con su
profesorado). Estos criterios se aplican a la evaluación tanto
de grado y postgrado como a la valoración del plan de control
de la calidad que se presenta como parte íntegra de la
propuesta de titulación.
Procedimiento
Esta diferencia en cuanto a la evaluación
influye también en el tipo de procedimiento de evaluación
que se realiza en Bruselas y en los estados miembro de la UE.
Así por ejemplo, en las evaluaciones
realizadas por las agencias de la ENQA (por ejemplo la ANECA) o sus
filiales autonómicas en el caso español, la
evaluación de la titulación se realiza por un comité
de expertos en base a la calidad individual de cada propuesta. En
Bruselas en necesario crear un ranking de propuestas de mejor a
peor de entre las propuestas que se considera satisfacen un
mínimo de nivel.
Para ello, si bien el procedimiento puede cambiar
de un programa europeo a otro, en general el procedimiento que se
emplea es similar al siguiente:
-
Comprobación de requisitos (eligibility check):
consiste en un filtro previo a la evaluación de cada propuesta
para descartar aquellas que no cumplen los requisitos de la
convocatoria
-
Ejercicio de evaluación:
-
Evaluaciones independientes e individuales: un mínimo de dos
evaluadores por propuesta emiten una evaluación completa por
separado siguiendo los criterios del programa. Las propuestas son
asignadas de acuerdo a la afinidad del área de conocimiento (y
en ocasiones se tiene en cuenta el dominio del idioma de la
solicitud)
- Reuniones
de consenso: los evaluadores independientes se reúnen para
debatir discrepancias de opinión sobre la propuesta tanto en
la calificación como en cada uno de los criterios de
evaluación.
- Paneles
sectoriales (temáticos): los evaluadores se reúnen en
grupos por afinidad disciplinar para analizar la equidad en cuanto
a la valoración de las propuestas correspondientes a cada
subgrupo. En Erasmus Mundos esto se realiza en cuatro grandes
grupos denominados Hard sciences, Life sciences, Business &
law, y Humanities. Se nombra de entre los evaluadores a un Lead
Expert que hace las funciones de coordinador y representante
del grupo.
- Panel
general: todos los evaluadores se reúnen y se vuelve a
analizar el ranking de todas las propuestas aprobadas en su
conjunto para asegurar que se han aplicado los criterios de forma
similar entre las propuestas de cada subgrupo. Cada Lead
Expert hace de portavoz de su subgrupo de evaluadores.
-
Selection Board: Se trata de un comité de expertos que por su
experiencia previa revisan el procedimiento anterior para validarlo
y para proponer (en su caso) modificaciones al ranking final de
propuestas. En el caso de Erasmus Mundus está formado por doce
personalidades de reconocida experiencia académica de toda
Europa. Los Lead Experts participan y tienen voz, pero no
voto.
- Toma de
decisión final: la Comisión Europea toma la última
decisión, que se basa en la calidad académica relativa de
cada propuesta (según evaluaciones de los expertos
independientes y el Selection Borrad) y en el presupuesto total
destinado a la convocatoria. En esta última decisión las
agencias (o estructuras nacionales) de los estados que se encargan
de la gestión del programa a nivel nacional también
pueden facilitar una valoración de las propuestas emitidas por
su propio país.
En cuanto a la selección de evaluadores
independientes, los criterios para su selección tienen en
consideración el grado de conocimiento de diferentes sistemas
de educación superior europeos, el conocimiento de lenguas, la
experiencia en relaciones internacionales y ECTS, la experiencia en
evaluación de otros programas europeos de las DGs de
educación y cultura, ayuda a la cooperación e
investigación (programas Sócrates, Leonardo, tempos,
Programa Marco...). Además, se establece una política
periódica de renovación de evaluadores, de forma que
existe una renovación obligada periódicamente de todos
los evaluadores.
