Anexo 1

Criterios de Evaluación e Indicadores de Desempeño para los Objetivos Estratégicos (OE).

1. Indicadores para OE 4.1: Ser efectivamente una institución integrada y transversal.

Indicadores relacionados con la actividad académica realizada entre Unidades Mayores (ver Comentario 1):

• Número de publicaciones ISI o equivalentes y de productos de índole creativa equivalentes (exposiciones artísticas y obras musicales) realizadas con co-autores externos a la Facultad o Instituto Interdisciplinario, y porcentaje respecto al total de productos académicos de este tipo de la universidad.
• Número de tesis de magíster y de doctorado en co-tutela finalizadas y en curso, y porcentaje respecto al total de este tipo de programas de la universidad.
• Número de cursos y programas de pregrado realizados por dos o más Facultades o Institutos Interdisciplinarios, y porcentaje respecto al total de este tipo de programas en la universidad.
• Número de cursos de pregrado (obligatorios y electivos) homologados por dos o más Facultades o Institutos Interdisciplinarios, y porcentaje respecto al total de cursos impartidos por la universidad.
• Número de cursos de pregrado dictados por académicos de dos o más disciplinas, y porcentaje respecto al total de cursos impartidos por la universidad.

2. Indicadores para OE 4.2: Ser reconocida como la universidad que dispone del cuerpo académico que, con vocación y compromiso, tiene el mejor nivel en el país, en conformidad con las exigencias de calidad en el concierto internacional.

a) Indicadores sobre formación de académicos (ver Comentario 2):

• Número de académicos de la unidad y porcentaje, respecto al total de académicos de la unidad, que están en programas de formación de doctorado, de magíster, de título de especialista.

b) Sobre los académicos con postgrado:

• Número de académicos de la unidad y porcentaje (respecto al total de académicos de la unidad) con doctorado, con magíster, con título de especialista.

c) Sobre avance en la carrera académica:

Para cada jerarquía académica de la Facultad o Instituto Interdisciplinario:

• Número y porcentaje de académicos adscritos a la jerarquía.
• Edad promedio de los académicos.
• Distribución etárea.
• Años de permanencia promedio de los académicos en la jerarquía

3. Indicadores para OE 4.3:  Ser reconocida como la universidad que convoca y forma a los mejores y más brillantes talentos jóvenes en todas las áreas que ella cultiva.                                                             

a) Indicadores sobre calidad de los alumnos que ingresan por carrera (ver Comentario 3):

• Distribución de alumnos ingresados según tramos del AFI, que da origen a 7 grupos de alumnos: sin AFI, distinguiendo los rezagados y los de la promoción, y cada uno de los 5 tramos del AFI ;
• Del total de matriculados en la carrera en el país, ordenados por la PAA (PSU), qué porcentaje del 10% superior está matriculado en la U (y en la UC, para comparar con el referente más cercano).

b) Sobre efectividad de la docencia por carrera (ver Comentario 4):

• Índice de retención a los 2 y 4 años de ingreso (aquellos alumnos que continúan activos, no han sido eliminados y no han desertado, sobre el total de los ingresados en la promoción correspondiente).
• Tiempo medio de titulación (años o semestres cronológicos desde el ingreso hasta la obtención del título, para alumnos ingresados en un mismo año).
• Tasa de titulación (titulados o graduados sobre los retenidos), transcurrido cierto número de años después del ingreso. Por ejemplo, 1,2 y 1,5  veces la duración programada de la carrera.

c) Sobre percepción externa por carrera (ver Comentario 5):

• Porcentaje de los alumnos ingresados en cada carrera que lo hacen en primera opción, en segunda, y en tercera o más.
• Número y porcentaje (respecto al total de la carrera) de alumnos extranjeros.
• Lugar de la carrera en ranking nacionales e internacionales publicados, si los hay.
• Promedio de remuneraciones de egresados de la carrera de la U, versus promedio de remuneraciones de sus pares egresados de otra universidad equivalente.

4. Indicadores para OE 4.4: Ser reconocida como la universidad que realiza las actividades de investigación, creación y de postgrado (especialmente doctorados) al mejor nivel en el país, en conformidad con las exigencias de calidad en el concierto internacional.

a) Indicadores relacionados con la producción de investigación en publicaciones de impacto internacional (ver Comentario 6):

• Número de publicaciones ISI (o equivalente) por JCE de la jerarquía de Profesor.
• Índice de citas relativas. (Ver Comentario 7).
• Número de citas por JCE de la jerarquía de Profesor.
• Porcentaje de publicaciones ISI relativo entre facultades e institutos.
• Análisis similar de la competencia y del entorno (por lo menos con las Universidades del Consejo de Rectores).

b) Relacionados con la producción de investigación en publicaciones de impacto nacional:

• Relación entre número y tipo de publicaciones nacionales y JCE de la jerarquía de Profesor.

c) Indicador general de creación artística:

• Relación entre productividad artística (medida en número de proyectos y actividades) y JCE de la jerarquía de Profesor del área pertinente.

d) Relacionados con la producción de creación artística de impacto internacional:

• Número de actividades de presentación y ejecución de obra (exposiciones, conciertos, recitales, puestas en escena, intervenciones, etc.) en eventos internacionales (individuales, colectivos, bienales, calidad de la participación en la actividad, carácter del patrocinio o invitación y relevancia del lugar o evento) de acuerdo a normas de acreditación institucionales.
• Número de proyectos adjudicados en fuentes y concursos internacionales (ej: Guggenheim) y calidad de la participación en el proyecto.
• Impacto de la obra medida según monografías, catálogos, críticas y entrevistas en medios internacionales.
• Premios y distinciones internacionales.
• Número de participaciones en eventos internacionales de teoría y crítica cultural y artística por JCE de la jerarquía de Profesor.
• Número de participaciones en calidad de experto en la gestión y evaluación de actividades artísticas internacionales y carácter de la misma (curatoría, producción, integración de consejos, comisiones y jurados de nivel internacional, etc.) por JCE de la jerarquía de Profesor.

e) Relacionados con la producción de índole creativa de impacto nacional:

• Número de actividades de presentación y ejecución de obra (exposiciones, conciertos, recitales, puestas en escena, intervenciones, etc.) en eventos nacionales (calidad de la participación en la actividad, carácter del patrocinio o invitación y relevancia del lugar o evento) de acuerdo a normas de acreditación institucionales.
• Número de proyectos adjudicados en fuentes y concursos nacionales (FONDART, Fundación Andes, DIRAC, DI, etc.) y calidad de la participación en el proyecto.
• Impacto de la obra medida según monografías, catálogos, críticas y entrevistas en medios nacionales acreditados.
• Premios y distinciones nacionales a la obra o la trayectoria.
• Número de participaciones en eventos nacionales de teoría y crítica cultural y artística por JCE de la jerarquía de Profesor.
• Número de participaciones en calidad de experto en la gestión y evaluación de actividades artísticas y carácter de la misma (curatoría, producción, integración de consejos, comisiones y jurados de nivel nacional o regional, etc.) por JCE de la jerarquía de Profesor.

f) Relacionados con la actividad de postgrado (ver Comentario 8):

• Número de tesis finalizadas y en curso de los programas de doctorado y de magíster en que participa la unidad;
• Numero de publicaciones que se derivaron de las tesis de doctorado y de magíster de los programas en que participa la unidad.

g) Relacionados con la actividad de proyectos de investigación y creación:

• Porcentaje de éxito (aprobación) de los proyectos presentados (Fondecyt, Fondart, Fondef, Milenios, Fondap, Fundación Andes, etc.).
• Porcentaje de los recursos de fondos concursables del Estado captados por la unidad respecto al total de recursos destinados al área.
• Porcentaje de recursos captados desde el sector privado respecto del total de financiamiento de proyectos.
• Relación entre número de proyectos y JCE de la jerarquía de Profesor.
• Número y monto involucrado en patentes y derechos de autor (e.g., licencias) obtenidos.

5. Indicadores para OE 4.5: Ser reconocida como la institución universitaria que más efectivamente realiza en el país la interacción de conocimiento con el sistema social, cultural, educacional y productivo.

1. Contribución de la Universidad al estudio y a la propuesta de soluciones a problemas nacionales y regionales.
2. Relaciones de cooperación e intercambio con instituciones académicas.
3. Contribución de la Universidad a la construcción de la cultura en el país.
4. Contribución de la Universidad al desarrollo del sistema productivo nacional.

Véase en el Anexo 3 los ítems sugeridos para cada categoría.

6. Indicadores para OE 4.6: Ser una institución provista de sustentabilidad y capacidad de gestión económica para asegurar su autonomía académica en el ejercicio y gestión de todas sus actividades.

Indicadores relacionados con aspectos de gestión, a nivel de la institución y a nivel de cada una de las Facultades e Institutos Interdisciplinarios, según corresponda (ver Comentario 9):

• Número de alumnos en relación a los académicos JCE.
• Número de alumnos en relación al personal de colaboración.
• Número del personal de colaboración académica y porcentaje respecto al total de académicos y personal de colaboración.
• Número y porcentaje de profesionales en el estamento de colaboración académica.
• Monto del aporte del Fondo General en relación al número de alumnos de pregrado.
• Porcentaje promedio de tiempo declarado por los académicos de la unidad (desagregado por jerarquía académica) como dedicado a la investigación o creación, docencia directa e indirecta de pre y postgrado, perfeccionamiento académico, extensión, y administración.
• Promedio de remuneraciones por jerarquía académica y por área del conocimiento (incorporando la varianza correspondiente), y en universidades nacionales comparables.
• Monto asignado, por la institución y por cada una de las unidades, a cada uno de los factores (remuneración académicos, remuneración personal de colaboración, gastos financieros, funcionamiento, inversión) y porcentaje respecto a los fondos utilizados.

COMENTARIOS A LOS INDICADORES:

(1): El análisis de este tipo de indicadores permitirá ir afinando, en términos prácticos, la noción de transversalidad, incluyendo el subconcepto de integración que le da un sello distintivo al quehacer de la universidad, de modo de diferenciarla de aquello que sólo significa un mejor manejo de los recursos y oportunidades (e.g., dos o más unidades que concurren a dar algún tipo de formación de pre o de postgrado en función sólo de la necesidad formativa, sin que ello signifique, en absoluto, mayor integración o transversalidad). Falta elaborar indicadores relacionados a las actividades de extensión.

(2): Este es un indicador que debiera tender a desaparecer en el tiempo ya que, dependiendo de cuán consolidada esté un área dentro de la universidad, los nuevos académicos de JC a ser contratados en esa área deberían ya poseer un doctorado.

(3): El AFI es un indicador comparable, ya que está abierto a todas las universidades. El porcentaje de alumnos matriculados de entre los 5, 10, 0 20 mejores lugares de ingreso no es un indicador comparable, al no ser iguales las ponderaciones utilizadas en las diferentes universidades y porque para una misma carrera no todas las universidades exigen las mismas pruebas específicas. Es necesario avanzar en la identificación de los esfuerzos que pueden hacer las unidades por ampliar la diversidad socioeconómica y de origen en el ingreso a sus carreras -manteniendo sus exigencias académicas de admisión-, así como por desligar posteriormente al estudiante de las determinaciones de su entorno inicial -particularmente el socioeconómico- para que al cabo de sus años de estudio egrese en igualdad de oportunidades respecto de aquellos que provienen de estratos socioeconómicos superiores. Éste es un desafío que se debe enfrentar y que requiere bastante trabajo y recursos.

(4): No se puede medir calidad de manera comparable entre carreras de la universidad. La encuesta docente es un instrumento al que hay que prestar atención a nivel de cada unidad (excepto en situaciones extremas, en que podría caber una preocupación institucional), ya que ellas son opiniones sobre un curso que puede tener varias secciones, ser o no ser relevante, dictado por uno o más profesores, y con alumnos y profesores de diferente nivel -lo que podría influir en la franqueza de las respuestas-. Habría que generar las condiciones para que a futuro se pudieran realizar pruebas de conocimiento a los alumnos que estén en la mitad y al término de su carrera, así como explorar la posibilidad que en este último caso los alumnos tengan que rendir un examen internacional en aquellas disciplinas o competencias en que existan tales instancias (e.g., TOEFL).

(5): Recientemente se han publicado las remuneraciones y situación laboral de las carreras, sin identificar el lugar de estudios, por lo que este indicador podría ser construido si se accede a una desagregación por lugar de estudios. Si bien los ranking tienen una objetividad que pudiera ser discutible, ellos dan una idea de la percepción externa y tienen impacto en la comunidad. La opción de los alumnos al ingresar identifica su percepción tanto de la Universidad como de la carrera en sí y es muy ilustrativa de la imagen de cada carrera.

(6): Al evaluar la productividad académica de las áreas, es necesario establecer comparaciones con criterios universales de referencia por área (esto es, uso de estándares internacionales sobre productividad en investigación y creación para las diferentes áreas del conocimiento) y definir las referencias que queremos tomar como universidad (esto es, con quien nos queremos comparar). A futuro habría que  considerar, explícitamente,  la opinión de  los pares (aunque ésta está presente en los revisores de proyectos, publicaciones, etc.). Conviene subrayar que en el caso de las disciplinas humanísticas y de las ciencias sociales es perfectamente posible distinguir entre publicaciones de corriente principal y otras, pero la aplicación de estándares debe ser prudente -sobre todo en las humanidades-, por la diversa destinación que las actividades de investigación pueden tener en estas áreas, por el mayor peso relativo que, por ejemplo, tienen los libros sobre los papers, por los distintos formatos que puede asumir la comunicación del conocimiento (monografía, ensayo, artículo, crítica, comentario, etc., sin desconsiderar la importancia que puede asumir la traducción), y por las propias diferencias de estructura epistemológica entre las disciplinas del área.

(7): Los dos indicadores utilizados con mayor frecuencia para monitorear la actividad de investigación son el número de publicaciones en revistas de corriente principal, y el número de citas. Ambos indicadores sólo adquieren significado en la medida que exista una escala que permita evaluar cuán satisfactorios resultan ser los valores obtenidos.

Los patrones de publicación y citación presentan variaciones significativas entre las distintas áreas del conocimiento, por lo cual una interpretación correcta debe necesariamente considerar el factor "área". Así por ejemplo, un investigador que produce 2 artículos anuales será considerado como muy productivo o poco productivo según el tema en que trabaje. Algo análogo, e incluso más marcado, ocurre en relación con el número de citas. Así por ejemplo, el índice de impacto de las revistas de corriente principal (el cual refleja cuan frecuentemente son citados los artículos de una determinada revista) pueden variar de 1 a 20 según el área.

En la medida que el universo sobre el cual se desean comparar los indicadores sea homogéneo, los indicadores absolutos pueden ser suficientes. Sin embargo, al monitorear la actividad de una universidad que realiza investigación en áreas muy diversas es necesario estandarizar los indicadores de manera de descontar el factor área. Gruesamente la idea es reemplazar los índices absolutos de número de publicaciones y número de citas, por factores relativos calculados como cuociente entre dichos índices y el valor esperado o promedio para el área.

Así por ejemplo, para un departamento XX interesaría calcular el número de publicaciones anuales dividido por el promedio esperado de publicaciones anuales para departamentos de similares características. Desgraciadamente este último valor es muy difícil de obtener debido a la gran variabilidad de estructuras docentes y de investigación que existen en las universidades, y no conocemos una metodología estandarizada para este fin.

En cambio, para el índice de citas la comparación con el valor esperado es mucho mas fácil debido a que las propias revistas elaboran índices promedios mediante una metodología estandarizada. Así, para cada artículo publicado en una revista ISI es posible estimar el número esperado de citas que debería haber obtenido en un periodo determinado (este corresponde simplemente al promedio observado de citas obtenidas por los artículos de dicha revista en el período y se relaciona con el índice de impacto de la revista). Dividiendo el número observado de citas por el número esperado de citas obtenemos un índice relativo que resulta comparable a través de distintas áreas del conocimiento y distintas unidades académicas.

Los índices relativos de citas han sido utilizados en distintos ámbitos en los cuales es necesario comparar actividades de investigación de naturalezas muy diversas. En particular, Conicyt ha utilizado índices relativos para la evaluación de proyectos Fondap, de modo que existe una metodología ya probada y que bastaría adoptar. La disponibilidad de herramientas tales como ISI-Web-of-Knowledge facilita enormemente el cálculo de dichos índices.

La dificultad de elaborar un índice relativo para el número de publicaciones obligaría a quedarse solamente con el índice relativo de citas. Si bien esto entrega una fotografía parcial, tiene una virtud adicional por cuanto pone el énfasis en la calidad más que en la cantidad. No se trata de publicar mucho "per se", sino publicar trabajos que tengan un impacto elevado. Aun así resulta necesario complementar el índice relativo de citas con algún índice absoluto que refleje la cantidad de trabajo realizado.

Un índice relativo de citas basado sobre las herramientas provistas por ISI resultará inadecuado para aquellas áreas cuyo producto no se traduce en publicaciones ISI.

(8): En los programas de magíster y doctorado hay que distinguir los que son acreditados.

(9): La sustentabilidad económica se puede apreciar, para la institución y las unidades, con indicadores a partir de las estadísticas acerca de sus fuentes y usos de fondos y de sus niveles de endeudamiento.