Anexo 1

Criterios de Evaluación e Indicadores de Desempeño para los Objetivos Estratégicos (OE).

1. Indicadores para OE 4.1: Ser efectivamente una institución integrada y transversal.

Indicadores relacionados con la actividad académica realizada entre Unidades Mayores (ver Comentario 1):

2. Indicadores para OE 4.2: Ser reconocida como la universidad que dispone del cuerpo académico que, con vocación y compromiso, tiene el mejor nivel en el país, en conformidad con las exigencias de calidad en el concierto internacional.

a) Indicadores sobre formación de académicos (ver Comentario 2):

b) Sobre los académicos con postgrado:

c) Sobre avance en la carrera académica:

Para cada jerarquía académica de la Facultad o Instituto Interdisciplinario:

3. Indicadores para OE 4.3:  Ser reconocida como la universidad que convoca y forma a los mejores y más brillantes talentos jóvenes en todas las áreas que ella cultiva.                                                             

a) Indicadores sobre calidad de los alumnos que ingresan por carrera (ver Comentario 3):

b) Sobre efectividad de la docencia por carrera (ver Comentario 4):

c) Sobre percepción externa por carrera (ver Comentario 5):

4. Indicadores para OE 4.4: Ser reconocida como la universidad que realiza las actividades de investigación, creación y de postgrado (especialmente doctorados) al mejor nivel en el país, en conformidad con las exigencias de calidad en el concierto internacional.

a) Indicadores relacionados con la producción de investigación en publicaciones de impacto internacional (ver Comentario 6):

b) Relacionados con la producción de investigación en publicaciones de impacto nacional:

c) Indicador general de creación artística:

d) Relacionados con la producción de creación artística de impacto internacional:

e) Relacionados con la producción de índole creativa de impacto nacional:

f) Relacionados con la actividad de postgrado (ver Comentario 8):

g) Relacionados con la actividad de proyectos de investigación y creación:

5. Indicadores para OE 4.5: Ser reconocida como la institución universitaria que más efectivamente realiza en el país la interacción de conocimiento con el sistema social, cultural, educacional y productivo.

Véase en el Anexo 3 los ítems sugeridos para cada categoría.

6. Indicadores para OE 4.6: Ser una institución provista de sustentabilidad y capacidad de gestión económica para asegurar su autonomía académica en el ejercicio y gestión de todas sus actividades.

Indicadores relacionados con aspectos de gestión, a nivel de la institución y a nivel de cada una de las Facultades e Institutos Interdisciplinarios, según corresponda (ver Comentario 9):

COMENTARIOS A LOS INDICADORES:

(1): El análisis de este tipo de indicadores permitirá ir afinando, en términos prácticos, la noción de transversalidad, incluyendo el subconcepto de integración que le da un sello distintivo al quehacer de la universidad, de modo de diferenciarla de aquello que sólo significa un mejor manejo de los recursos y oportunidades (e.g., dos o más unidades que concurren a dar algún tipo de formación de pre o de postgrado en función sólo de la necesidad formativa, sin que ello signifique, en absoluto, mayor integración o transversalidad). Falta elaborar indicadores relacionados a las actividades de extensión.

(2): Este es un indicador que debiera tender a desaparecer en el tiempo ya que, dependiendo de cuán consolidada esté un área dentro de la universidad, los nuevos académicos de JC a ser contratados en esa área deberían ya poseer un doctorado.

(3): El AFI es un indicador comparable, ya que está abierto a todas las universidades. El porcentaje de alumnos matriculados de entre los 5, 10, 0 20 mejores lugares de ingreso no es un indicador comparable, al no ser iguales las ponderaciones utilizadas en las diferentes universidades y porque para una misma carrera no todas las universidades exigen las mismas pruebas específicas. Es necesario avanzar en la identificación de los esfuerzos que pueden hacer las unidades por ampliar la diversidad socioeconómica y de origen en el ingreso a sus carreras -manteniendo sus exigencias académicas de admisión-, así como por desligar posteriormente al estudiante de las determinaciones de su entorno inicial -particularmente el socioeconómico- para que al cabo de sus años de estudio egrese en igualdad de oportunidades respecto de aquellos que provienen de estratos socioeconómicos superiores. Éste es un desafío que se debe enfrentar y que requiere bastante trabajo y recursos.

(4): No se puede medir calidad de manera comparable entre carreras de la universidad. La encuesta docente es un instrumento al que hay que prestar atención a nivel de cada unidad (excepto en situaciones extremas, en que podría caber una preocupación institucional), ya que ellas son opiniones sobre un curso que puede tener varias secciones, ser o no ser relevante, dictado por uno o más profesores, y con alumnos y profesores de diferente nivel -lo que podría influir en la franqueza de las respuestas-. Habría que generar las condiciones para que a futuro se pudieran realizar pruebas de conocimiento a los alumnos que estén en la mitad y al término de su carrera, así como explorar la posibilidad que en este último caso los alumnos tengan que rendir un examen internacional en aquellas disciplinas o competencias en que existan tales instancias (e.g., TOEFL).

(5): Recientemente se han publicado las remuneraciones y situación laboral de las carreras, sin identificar el lugar de estudios, por lo que este indicador podría ser construido si se accede a una desagregación por lugar de estudios. Si bien los ranking tienen una objetividad que pudiera ser discutible, ellos dan una idea de la percepción externa y tienen impacto en la comunidad. La opción de los alumnos al ingresar identifica su percepción tanto de la Universidad como de la carrera en sí y es muy ilustrativa de la imagen de cada carrera.

(6): Al evaluar la productividad académica de las áreas, es necesario establecer comparaciones con criterios universales de referencia por área (esto es, uso de estándares internacionales sobre productividad en investigación y creación para las diferentes áreas del conocimiento) y definir las referencias que queremos tomar como universidad (esto es, con quien nos queremos comparar). A futuro habría que  considerar, explícitamente,  la opinión de  los pares (aunque ésta está presente en los revisores de proyectos, publicaciones, etc.). Conviene subrayar que en el caso de las disciplinas humanísticas y de las ciencias sociales es perfectamente posible distinguir entre publicaciones de corriente principal y otras, pero la aplicación de estándares debe ser prudente -sobre todo en las humanidades-, por la diversa destinación que las actividades de investigación pueden tener en estas áreas, por el mayor peso relativo que, por ejemplo, tienen los libros sobre los papers, por los distintos formatos que puede asumir la comunicación del conocimiento (monografía, ensayo, artículo, crítica, comentario, etc., sin desconsiderar la importancia que puede asumir la traducción), y por las propias diferencias de estructura epistemológica entre las disciplinas del área.

(7): Los dos indicadores utilizados con mayor frecuencia para monitorear la actividad de investigación son el número de publicaciones en revistas de corriente principal, y el número de citas. Ambos indicadores sólo adquieren significado en la medida que exista una escala que permita evaluar cuán satisfactorios resultan ser los valores obtenidos.

Los patrones de publicación y citación presentan variaciones significativas entre las distintas áreas del conocimiento, por lo cual una interpretación correcta debe necesariamente considerar el factor "área". Así por ejemplo, un investigador que produce 2 artículos anuales será considerado como muy productivo o poco productivo según el tema en que trabaje. Algo análogo, e incluso más marcado, ocurre en relación con el número de citas. Así por ejemplo, el índice de impacto de las revistas de corriente principal (el cual refleja cuan frecuentemente son citados los artículos de una determinada revista) pueden variar de 1 a 20 según el área.

En la medida que el universo sobre el cual se desean comparar los indicadores sea homogéneo, los indicadores absolutos pueden ser suficientes. Sin embargo, al monitorear la actividad de una universidad que realiza investigación en áreas muy diversas es necesario estandarizar los indicadores de manera de descontar el factor área. Gruesamente la idea es reemplazar los índices absolutos de número de publicaciones y número de citas, por factores relativos calculados como cuociente entre dichos índices y el valor esperado o promedio para el área.

Así por ejemplo, para un departamento XX interesaría calcular el número de publicaciones anuales dividido por el promedio esperado de publicaciones anuales para departamentos de similares características. Desgraciadamente este último valor es muy difícil de obtener debido a la gran variabilidad de estructuras docentes y de investigación que existen en las universidades, y no conocemos una metodología estandarizada para este fin.

En cambio, para el índice de citas la comparación con el valor esperado es mucho mas fácil debido a que las propias revistas elaboran índices promedios mediante una metodología estandarizada. Así, para cada artículo publicado en una revista ISI es posible estimar el número esperado de citas que debería haber obtenido en un periodo determinado (este corresponde simplemente al promedio observado de citas obtenidas por los artículos de dicha revista en el período y se relaciona con el índice de impacto de la revista). Dividiendo el número observado de citas por el número esperado de citas obtenemos un índice relativo que resulta comparable a través de distintas áreas del conocimiento y distintas unidades académicas.

Los índices relativos de citas han sido utilizados en distintos ámbitos en los cuales es necesario comparar actividades de investigación de naturalezas muy diversas. En particular, Conicyt ha utilizado índices relativos para la evaluación de proyectos Fondap, de modo que existe una metodología ya probada y que bastaría adoptar. La disponibilidad de herramientas tales como ISI-Web-of-Knowledge facilita enormemente el cálculo de dichos índices.

La dificultad de elaborar un índice relativo para el número de publicaciones obligaría a quedarse solamente con el índice relativo de citas. Si bien esto entrega una fotografía parcial, tiene una virtud adicional por cuanto pone el énfasis en la calidad más que en la cantidad. No se trata de publicar mucho "per se", sino publicar trabajos que tengan un impacto elevado. Aun así resulta necesario complementar el índice relativo de citas con algún índice absoluto que refleje la cantidad de trabajo realizado.

Un índice relativo de citas basado sobre las herramientas provistas por ISI resultará inadecuado para aquellas áreas cuyo producto no se traduce en publicaciones ISI.

(8): En los programas de magíster y doctorado hay que distinguir los que son acreditados.

(9): La sustentabilidad económica se puede apreciar, para la institución y las unidades, con indicadores a partir de las estadísticas acerca de sus fuentes y usos de fondos y de sus niveles de endeudamiento.

Compartir:
https://uchile.cl/u30826
Copiar