El proceso de Calificación Académica está empezando a evolucionar dentro de la Universidad de Chile, impulsado por el Consejo de Evaluación, organismo encargado de ejercer la Superintendencia de la función evaluadora. El objetivo es alcanzar estándares de eficiencia y transparencia que se orienten a conseguir la excelencia académica y, como institución que ejerce un rol público, hacer “compatible la labor de la Universidad de Chile con lo que quiere el país”, explica el profesor Allende.
En ese sentido, advierte el profesor, este proceso no debería sentirse como una “carga” por los académicos, al contrario, “queremos orientarlos en su carrera para tener éxito, subir el escalafón académico y llegar a los niveles que todos esperamos. En eso estamos trabajando".
¿Cuáles son las mayores debilidades del Proceso de Calificación Académica que han llamado la atención del Consejo de Evaluación?
La Universidad y sus autoridades se han dado cuenta que existe una disociación entre la Calificación y la calidad de lo que hacemos en el estamento académico en particular, porque todos sus integrantes salen muy bien calificados, lo que no se condice con la productividad de la Universidad a nivel per cápita. Si nos guiáramos por los resultados de la Calificación, deberíamos tener una productividad y una calidad académica mucho mayor de la que tenemos.
Por otro lado, la Calificación está inserta en un sistema de aseguramiento de la calidad donde uno tiene que proveer de información a la Universidad en muchísimas instancias. Hemos identificado que los académicos pueden llegar a llenar hasta nueve formularios distintos en un año con información muy parecida, en una diversidad de formatos y plataformas, lo cual es muy engorroso.
Por último, creemos que las “reglas del juego” no están explícitas. Muchas veces los procesos de Calificación o de Evaluación son desconocidos por los académicos lo que se presta para suspicacias o impresiones de que hay aspectos no académicos que puedan estar detrás de los procesos, que existe cierta subjetividad.
Eficiencia y Transparencia
¿Qué mejoras se han introducido en la Universidad para superar esas debilidades?
Hay dos conceptos claves que son la eficiencia y la transparencia.
La eficiencia se divide en dos partes. Por un lado, la Universidad ha incorporado una nueva plataforma, Portafolio Académico, que constituye un instrumento actualizado y mucho más accesible de información al día, a la que se puede recurrir para diseñar políticas y eso es muy importante, y desde las Vicerrectorías se está trabajando para que este instrumento permita saber en cualquier instante cómo estamos y qué tenemos que hacer para mejorar.
Por otro lado, nuestra misión como Consejo es facilitar los procesos evaluativos y, al mismo tiempo, la tarea de los académicos, para lo cual pretendemos aprovechar este inmenso aporte que supone Portafolio Académico para los procesos de Calificación y Evaluación, y hemos tenido avances importantes en ese sentido. Eso significa mayor eficiencia en el uso del tiempo. En el fondo, queremos darle diferentes usos a un mismo dato gracias a una buena gestión.
Es decir, ¿existe una vinculación entre el Portafolio Académico y el Formulario de Calificación?
El Portafolio Académico es la plataforma institucional en la que figura toda la productividad académica, principalmente en docencia e investigación, que la misma Universidad se encarga de recolectar. En el actual proceso de Calificación, los profesores ya no deben llenar el Formulario de Calificación completo, sino que al entrar al sistema encuentran el formulario pre-llenado por la Universidad en un gran porcentaje, según su disciplina, dado que ambos sistemas empiezan a estar conectados.
Vincular las dos plataformas significó un intenso trabajo colaborativo entre el Consejo de Evaluación y las direcciones de Gestión Institucional (DGI) y de Servicios de Tecnología de información (STI) de la VAEGI, para ver la mejor manera de hacer la migración de los datos desde Portafolio a Calificación y generar las conexiones oportunas.
La idea es que el Portafolio sea algo permanente, que los académicos tengan la opción de entrar cualquier día del año y mirar qué información tiene la Universidad sobre uno. El Portafolio yo creo que va a ser la herramienta clave para que los académicos podamos mantener al día nuestra información y no tener que llenar formularios en fechas límite. Entonces la Universidad podría decir, por ejemplo, este año 2014 llevamos trescientos papers publicados y eso puede marcar tendencias, decidir políticas, se pueden tomar decisiones con mucha agilidad.
Pero lo que queremos como Consejo es que la Universidad tenga la capacidad de que esa misma información se refleje en todos los formularios existentes en el ámbito de la Calificación y la Evaluación.
Para ello, una de las mayores dificultades es la cantidad de formatos distintos que existen, donde los campos de información y las alternativas o categorías tienen nombres diferentes pero significan lo mismo. También es técnicamente difícil encajar productos como un paper y una pieza musical en una misma estructura. Es muy complejo hacer calzar toda esa información, pero hemos hecho propuestas desde la oficina técnica del Consejo de cómo hacerlo, cómo identificar distintos campos de información, cuántas alternativas o categorías tiene cada uno y que sean transferibles entre todos los instrumentos, formularios, etc. En eso se está trabajando.
Han sido muchos los actores involucrados en esto pero el Consejo ha sido uno de los impulsores y la razón es que creemos que para la función evaluadora y calificadora que nos corresponde supervisar, tenemos que tener este tipo de instrumento. Porque una de las grandes críticas a la Universidad es que es una institución lenta, ineficiente y poco transparente. Por lo tanto, esto debe terminar de implementarse en el más breve plazo posible para que la Universidad no sólo se modernice sino que aumente sus niveles de capacidad y gestión.
¿Con qué se podría comparar el sistema de pre rellenado a nivel nacional?
El mejor ejemplo es el sistema del Servicio de Impuestos Internos (SII). Uno abre el sitio web y se encuentra con toda su información como contribuyente y el Formulario de Declaración de Impuesto a la Renta por ejemplo, viene pre rellenado con todos los datos. El usuario valida el formulario y se declaran los impuestos.
Lo ideal es lograr algo así, que el académico vigile que está todo bien, que los sistemas automáticos funcionaron y lo apruebe.
Volviendo al concepto enunciado de transparencia ¿qué lugar tiene en este proceso?
Consideramos necesario que la Universidad tome el modelo de otras universidades del mundo donde los Currículums de los académicos son públicos y actualizados, es decir, a medida que se generan productos van siendo subidos a una plataforma virtual y eso se transforma en un documento recuperable por cualquier persona desde un sitio de la Universidad. Eso permite que uno pueda compararse y saber cómo se sitúa respecto a sus pares y, segundo, anticipar cómo va a ser calificado o evaluado porque puede comparar su currículum con los estándares establecidos por la Universidad para calificar bien o subir de categoría académica.
Entonces el concepto de transparencia primero tranquiliza al académico de que no hay nada raro u oscuro, y segundo, contribuye a la definición de estándares explícitos y públicos para que las personas inmediatamente sepan cómo les podría ir en la Calificación o Evaluación, y a la vez les permite diseñar su carrera académica para cumplir con esos estándares.
Eso es parte de nuestro compromiso con la transparencia y estamos avanzando en esa dirección para que la Universidad pueda contar con información accesible, actualizada, completa y real. La transparencia frente a nuestros pares, dentro de la Universidad y también hacia afuera, le va a permitir a la Universidad medirse apropiadamente para tomar decisiones adecuadas y puede servir de ejemplo a las demás Universidades del país.
Valoración de la Creación Artística
El Portafolio Académico incluye también la Creación Artística ¿qué destacaría de este logro?
Ha sido un impulso a toda esta nueva era de manejo de la información de manera cuantitativa, cualitativa y que sea más bien objetiva. El Proyecto de Creación Artística, que desarrolló el Consejo de Evaluación en conjunto con las Vicerrectorías y los mismos académicos entre 2011 y 2013, tomó el tema más difícil de todos en términos de productividad de los académicos, que es la Creación Artística, porque no hay sistemas de medición de calidad de la creación. Es muy difícil darle valores.
Los sistemas de medición básicamente se tuvieron que inventar y tienen que ver con el número de veces que los pares opinan sobre la obra o el producto, en qué tipo de instancia se presenta, qué repercusiones tiene eso sobre el público o sobre otras formas del arte, es decir, ha habido que implementar calidades basadas en las cosas que el arte tiene como consecuencia.
¿La información sobre Creación Artística es recolectada por la Universidad?
Eso no existe todavía. La Universidad tiene información sobre nosotros que es toda la que puede recopilar de las bases de datos públicas. En el área científica es muy fácil porque está todo y la Universidad puede capturar esa información y asociarla a los investigadores, a los profesores y recolectar su productividad con sus artículos, libros, proyectos. La Vicerrectoría de Investigación (VID) está trabajando para tener sistemas eficientes de captura de información, para que al momento de abrir el Portafolio todos los datos estén ahí. Lo único que debe hacer el académico es informar en caso de encontrar un error. Entonces el académico es un validador más que un llenador de formularios.
Algo similar ocurre con la docencia porque la Universidad conoce y maneja los cursos. Es decir, al menos los ámbitos de productividad científica y docencia son actualmente recolectados por la misma institución.
Hay más dificultades con los libros pero hay buenos modelos para capturarlos porque hay bases de datos disponibles y se está haciendo un esfuerzo grande por parte del Sistema de Servicios de Información y Bibliotecas (SISIB) en conjunto con la VID, la VEX y la DGI.
En el caso de la Creación Artística esto no era posible, por lo que en el contexto del proyecto del Consejo se propuso un Formulario Único para la recolección de la productividad artística, propuesta que fue acogida por las Vicerrectorías y que la nueva Dirección de Creación Artística se encargó de implementar a finales de 2013, con la colaboración de todos nosotros. Y ahí es el académico el mayor responsable de iniciar la recolección, y la VID de validarla.
¿Y esta información está disponible para el proceso de Calificación de este año?
Se hizo un esfuerzo tremendo porque así fuera, y en gran medida se consiguió. Sin duda hay que seguir perfeccionándolo de cara a próximos procesos, pero por lo menos ya aparece en el formulario de calificación de todos aquellos académicos que tuvieron la oportunidad y se dieron el trabajo de incluir su productividad en Portafolio a través del Formulario Único.
El sistema ideal de aseguramiento de la calidad
¿Con esta “automatización” del sistema es más fácil resguardar la veracidad de la información?
Toda la información que la Universidad ingresa en Portafolio va a ser usada para generar mi currículum público y para mi Calificación, y podría considerarse también para mi Evaluación. Entonces, no voy a permitir que haya datos falsos, deberé ser mucho más cuidadoso porque cualquier error se va a notar. Finalmente, eso se vincula con el tema de la transparencia.
En productividad científica ya no debería haber errores porque el sistema automático tendría que reconocer papers y distinguirlos de los abstracts y de las presentaciones a Congresos. Además, nadie va a tener que andar chequeando los datos de uno como es ahora, porque vendrán de fuentes institucionales, lo que genera un accountability del académico mucho más fuerte.
¿Qué otros pasos se deben dar para lograr ese ideal de sistema eficiente y transparente?
Primero, la captura de información se va a ir perfeccionando en el tiempo, aún no está todo lo que se desearía tener. Con Innovación, de la VID, ya estamos colaborando. En el caso de Extensión, al igual que en el de Creación Artística, muchas veces las actividades no están registradas en las bases de datos públicas. Entonces hay que hablar de artículos en el diario o prestaciones a la comunidad o actividades en el ámbito público y eso es difícil de capturar automáticamente. Ahí sí tiene que hacer un poco más de trabajo el académico. Con la Vicerrectoría de Extensión (VEX) hemos estado en contacto para definir cuáles son los productos y qué indicadores de calidad se pueden medir, pero todavía nos falta mucho por avanzar.
Por otro lado, falta también hacer conversar Portafolio con otros instrumentos del proceso (el informe anual, el programa de actividades, etc.), e incluso otros procesos, como Evaluación, y no tener que llenar cuatro o cinco veces la misma información en distintos momentos del año, o en años sucesivos para diferentes propósitos. Estamos trabajando para que exista una sola recolección que sirva para todo, aunque evidentemente puede ser complementada con otros datos para cada proceso, pero que lo fundamental esté disponible de manera sencilla.
Por último, es necesario tener los requisitos bien claros, es decir, cuando veo mi producción me gustaría saber si estoy bien o mal. Hoy día es difícil saberlo, no sé cuáles son los criterios mínimos de excelencia que se requieren para ser calificado y evaluado bien, o saber cómo están mis pares, si estoy cerca del promedio, etc.
¿Con qué Unidades de la Universidad trabaja el Consejo de Evaluación en esta tarea?
En este momento nos estamos relacionando con las Vicerrectorías, sobre toda con las de Investigación (VID) y de Asuntos Económicos y Gestión Institucional (VAEGI), que han tomado este tema con mucha fuerza. También con la Prorrectoría, ya que en ella recae la presidencia de la Comisión Superior de Calificación, que es la encargada de ejecutar el proceso de Calificación. También hemos tenido acercamientos con la Comisión Superior de Evaluación Académica o con la Comisión de Estamentos y Participación del Senado Universitario, con las autoridades centrales diría yo, principalmente, y estamos abiertos a colaborar con todos los organismos que sea necesario y así lo deseen.
¿Este modelo se podría replicar en otras Universidades?
Nos encantaría. No somos pioneros en el mundo, hay otras Universidades en Sudamérica que lo hacen muy bien como la de Sao Paulo, que es uno de nuestros modelos. Sin embargo, creo que si nosotros logramos ejecutar esto bien, vamos a ser un modelo en Chile y debería ser algo apropiable por otras instituciones nacionales, como agencias de financiamiento, observatorios de la actividad académica, el Gobierno. A todas les puede interesar mucho porque permite diseñar políticas públicas.
¿Qué mensaje quisiera transmitir a los académicos que están siendo calificados este año?
El Consejo de Evaluación existe para velar que la Universidad tenga estándares de calidad altos y cuando sirva al país lo haga desde el punto de vista de la excelencia académica. Y los académicos no deberían estar asustados por ese concepto. Queremos que la Universidad se exceda en su calidad si es posible. Y eso es un beneficio para la institución, para el país y para el mismo académico. Queremos ayudar en esa tarea, queremos proporcionar un empuje a las carreras académicas de los profesores de esta Universidad. Queremos que todos alcancen su máximo potencial y estamos trabajando en esa dirección.
En ese sentido nos encanta recibir opiniones porque eso nos ayuda a saber cómo sienten los procesos de evaluación y calificación. De hecho este año pensamos hacer una encuesta de satisfacción muy masiva a los profesores, funcionarios y estudiantes para saber qué piensa la Universidad de sí misma.