Modelos de ev de programa
MODELOS DE EVALUACIÓN DE PROGRAMAS:
Dada la gran variedad de modelos existentes para la evaluación de programas, vamos a presentar de forma sintetizada los de mayor uso en el marco educativo, desde el clásico presentado por Tyler hasta la propuesta formulada por Pérez Juste. La selección de los modelos recogidos se hace teniendo en cuenta las posibilidades de aplicación al marco educativo del centro y de los proyectos diseñados por los equipos docentes de los mismos.
2.1. Modelo clásico de TYLER: evaluación orientada al logro: CLÁSICO
Los trabajos de Tyler han supuesto el punto de arranque de las propuestas de investigación evaluativa moderna. Su propuesta hace especial hincapié en que las decisiones sobre la validez o no de un programa vendrán determinadas por el nivel de congruencia entre los objetivos propuestos y los logros alcanzados, si estos eran alcanzados se tomarían las decisiones pertinentes, en cambio si no lo eran o solo se alcanzaban de forma parcial las decisiones serían distintas.
Dado el proceso lineal lógico del modelo propuesto por Tyler las fases a desarrollar en su propuesta evaluativa se concretan en las siguientes:
- Establecer metas y objetivos generales.
- Ordenar los objetivos según diversas clasificaciones.
- Definir estos objetivos en términos conductuales.
- Buscar situaciones en las que los objetivos se realizan.
- Seleccionar las técnicas apropiadas de medida.
- Recopilar los datos de la práctica.
- Comparar los datos con los objetivos conductuales fijados.
Las discrepancias que se pusieran de relieve en esta fase final deben ser corregidas y/o modificadas en los apartados correspondientes. La aportación básica del modelo consiste en desplazar la atención de la evaluación hacia otros aspectos del programa, además de los alumnos. Introduce la evaluación como referencia a criterios definidos en los objetivos. De ahí su visión recurrente de la evaluación al proporcionar información útil que permita la reformulación de los objetivos y como consecuencia la revisión de los planes evaluativos.
Las limitaciones más destacadas de esta propuesta se centran en considerar la evaluación como un proceso terminal, por lo que los posibles fallos no son detectados hasta finalizar el estudio, además el rendimiento es considerado como criterio último para decidir si se han alcanzado o no y en qué grado las metas propuestas por el programa.
2.2. Modelo de STAKE: la evaluación centrada en el cliente: ALTERNATIVO (o El modelo de ev. iluminativa de Parlett y Hamilton)
Stake recibe fuertes influencias de los modelos tylerianos, no obstante considera que estas propuestas tienen muchas limitaciones, por lo que defiende una evaluación centrada en el cliente y no solo en los resultados. Se muestra partidario del empleo de métodos cualitativos y el estudio de caso, frente al uso exclusivo de metodologías cuantitativas de base experimental. Manifiesta un gran interés por la evaluación de los denominados proyectos locales que ayuden a resolver y comprender de forma contextualizada los problemas próximos.
Su propuesta se centra en la visión de globalidad de la evaluación, por ello incluye los siguientes puntos:
1. La descripción lo más completa posible del propio programa, es decir, los antecedentes supuestos y reales, las operaciones didácticas realizadas y los resultados.
2. El juicio del programa no debe ser cometido exclusivo de los especialistas en evaluación, sino que deben participar otros colectivos (portavoces de la sociedad, profesores, padres, estudiantes), con una valoración ponderada de sus aportaciones.
3. La recopilación de datos se llevará a cabo en tres momentos, los antecedentes (información sobre el historial del grupo y sus circunstancias), las transacciones (encuentros entre los diversos colectivos implicados en el programa) y los resultados (logros de diversa índole alcanzados por el programa).
La evaluación centrada en el cliente o respondiente busca ofrecer un servicio útil y valioso a personas específicas, su característica fundamental es la sensibilidad hacia los temas esenciales, especialmente los que ayuden a los colectivos en su entorno inmediato. Por ello resalta que las evaluaciones no serán útiles si los evaluadores no conocen suficientemente tanto el lenguaje como los intereses de las personas implicadas y si los informes de evaluación no se ajustan a ese lenguaje.
Uno de los puntos básicos de la propuesta radica en la diferenciación entre la evaluación preordenada y la respondiente; así mientras la primera resalta las metas del programa como criterio de evaluación, utilizando los datos para la comprobación de los objetivos y las normas para juzgar los programas, realizando informes tipo de la investigación, es decir, se basan en un plan apriorístico; la evaluación centrada en el cliente se orienta hacia las actividades del programa, responde a necesidades de información de las audiencias y toma en consideración los diferentes valores de las personas interesadas en el programa cuando juzga su adecuación. Las propuestas y los métodos no son impuestos, sino que emergen desde la observación del programa durante el desarrollo de la evaluación.
Los principios básicos que sustentan la propuesta de evaluación de Stake son los siguientes:
- Igualdad: en la valoración de la acción de diferentes centros educativos.
- Ubicuidad: debe analizarlo todo en su globalidad.
- Diversidad: consenso explicativo dentro de las diferentes situaciones propuestas.
- Utilidad: prestar ayuda a la comunidad escolar.
- Redundancia: gran cantidad de datos sobre el programa.
- Ambigüedad: defiende la especificidad frente a la simplificación.
- Generalización: aplicabilidad de los estudios a otros casos y construcción o reformulación de teorías.
La estructura funcional operativa de la evaluación centrada en el cliente viene recogida en la obra de Stufflebeam y Shinkfield (1989, p.262). Se le denomina la evaluación del reloj por su carácter cíclico siguiendo el movimiento de las agujas y dado que contempla doce pasos:
1. Identificar el alcance del programa.
2. Panorama de las actividades del programa.
3. Descubrir los propósitos e intereses.
4. Conceptualizar las cuestiones y problemas.
5. Identificar los datos necesarios para investigar los problemas.
6. Seleccionar observadores, jueces e instrumentos si los hay.
7. Observar los antecedentes, las transacciones y los resultados propuestos.
8. Desarrollar temas, preparar descripciones y estudiar casos concretos.
9. Validación: confirmación, búsqueda de evidencias para la no confirmación.
10. Esquema para uso de la audiencia.
11. Reunir los informes formales, si los hay.
12. Hablar con los clientes, el personal del programa y las audiencias.
Los anteriores acontecimientos o propuesta de pasos y actividades secuenciadas no tienen por qué verse necesariamente siguiendo un orden lineal; sino que algunos pueden presentarse a la vez y en ocasiones es preciso volver sobre otros. La propuesta estratégica general formulada por Stake hemos de buscarla en términos de utilidad y legitimidad, por ello opina que sirve tanto a la evaluación formativa como a la sumativa. A la vez que reconoce que las valoraciones de la evaluación preordenada son más objetivas y exactas. No obstante, por encima de otras consideraciones, estima que toda evaluación debe ser adaptable y la evaluación respondiente es claramente superior en el cumplimiento de este principio.
2.3. Modelo de STUFFLEBEAM: evaluación orientada a la decisión:
El modelo se sustenta sobre la base de la importancia de la toma de decisiones sobre un determinado programa con el fin de maximizar la utilización de los resultados de la evaluación, no solo al finalizar el proceso, sino a lo largo del mismo. De la definición de evaluación apuntada anteriormente se extraen tres objetivos básicos: servir de guía para la toma de decisiones, proporcionar datos y promover la comprensión de los fenómenos estudiados. La evaluación se presenta como un proceso en el que se incluyen las etapas de identificar, obtener y proporcionar información. De ahí su propuesta CIPP, que distingue cuatro tipos de evaluaciones con sus correspondientes decisiones de mejora:
- Evaluación del contexto: sirve de base a las decisiones de planificación, necesidades de un programa para definir sus objetivos.
- Evaluación del "input" o entrada: nos indica los recursos disponibles, los métodos aplicables, las estrategias alternativas al programa y los planes de mayor potencial.
- Evaluación del proceso: proporciona información sobre la marcha del programa y si las actividades siguen el plan previsto, con el fin de introducir las modificaciones que sean necesarias.
- Evaluación del producto: valorar, interpretar y juzgar los logros del programa. Analizar si se han alcanzado los objetivos propuestos para decidir si el programa debe seguir o ampliarse o reformularse.
Uno de los puntos básicos de referencia del modelo CIPP nos viene determinado por su utilización en el perfeccionamiento de los sistemas, tal y como se recoge en la propuesta del cuadro tomado de (Stufflebeam y Shinkfield 1989, p. 192)
1. Operaciones regulares del sistema (incluyen distintas actividades evaluativas).
2. Evaluaciones periódicas del contexto, de ello se derivará la justificación de un cambio, si la opción es negativa retomamos el punto 1. Si la opción es positiva definimos el problema y formulamos los objetivos. Si existe una solución satisfactoria aplíquese y vuelva al punto de partida. Si no la hay pasamos al punto 3.
3. Evaluación de entrada, nos valora las estrategias encontradas, si no son adecuadas retomamos el punto 2. En cambio, si son prometedoras debemos avanzar en su desarrollo y comprobación, mediante la propuesta de realización de un proyecto especial.
4. Evaluación del proceso y del producto, se centrará en valorar los rendimientos del sistema, si éstos son satisfactorios se debe aplicar la solución propuesta. En caso contrario, debemos plantearnos si el proyecto merece un nuevo intento, lo que nos lleva a retomar la parte final del punto 3; o bien, al fracaso de la operación inicial planteada.
Del análisis de dicha propuesta y circunscrita la explicación a un contexto de reforma o cambio institucional nos ofrece la siguiente aportación, siguiendo las directrices emanadas de la formulación del modelo:
a. La evaluación debe formar parte de todo programa regular de cualquier institución educativa y no circunscribirse en exclusiva a una actividad especializada relacionada con proyectos de innovación o renovación.
b. La evaluación desempeña un papel de suma importancia tanto en lo que se refiere a la estimulación de los sujetos implicados en la misma como en lo relativo a la planificación de cambios.
c. El empleo de cada uno de los cuatro tipos de evaluación propuestos en el modelo CIPP es necesario cuando nos permitan obtener una mayor información, es decir actúan como partes del gran marco evaluativo de cada institución, siendo su función básica el analizar aspectos marginales de suma importancia para el proyecto.
d. La implementación de nuevos programas en el marco educativo debe prever el empleo de la evaluación, una vez que hayan sido aceptados por la comunidad.
e. La información suministrada además de resolver problemas de tipo institucional proporciona una base científica para juzgar si las decisiones sobre el fracaso o el éxito de un programa especial se toman desde posiciones debidamente justificables.
f. Las decisiones del equipo evaluador acerca del principio, mantenimiento, aplicación o final de los programas educativos o relativas a su perfeccionamiento son el reflejo de las fuerzas dinámicas que van más allá de la esfera próxima de estudio e influencia directa del evaluador.
En consecuencia podemos afirmar que el modelo CIPP nos proporciona diferentes tipos de decisiones que nos ayudan a crear las estrategias evaluativas apropiadas, entre ellas destacan:
- Decisiones de realización: sobre la puesta en marcha del programa (recursos, apoyos humanos).
- Decisiones de reciclaje: continuar o no con el programa, unirlo a otro, buscar recursos nuevos.
- Decisiones de planificación: selección de metas valiosas para el programa y los sujetos implicados.
- Decisiones de estructura: medios necesarios para alcanzar esas metas.
Sin duda la propuesta de Stufflebeam en una de las más clarificadoras y ambiciosas en la evaluación de programas educativos, el mismo autor reconoce algunas de las limitaciones para llevar a cabo una evaluación exhaustiva siguiendo su modelo. Pero sí recomienda encarecidamente que la evaluación no es un fin en sí misma, sino que se incardina dentro de un proceso educativo más amplio y globalizado, por ello propugna que la propia evaluación sea objeto de evaluación (metaevaluación) recurriendo a una serie de criterios, procesos y técnicas apropiados para su cometido.
2.4. Modelo de SCRIVEN: la evaluación orientada hacia el consumidor:
El modelo propuesto por Scriven parte de una crítica a otros enfoques excesivamente centrados en alcanzar los objetivos de los participantes, mientras que según este autor se deben satisfacer prioritariamente las necesidades de los consumidores. Define la evaluación como "la determinación sistemática y objetiva del valor o el mérito de algún objeto". Por ello defiende la objetividad de los criterios de valoración, el desarrollo de la lógica probativa, para culminar el proceso en la emisión de juicios y recomendaciones a los consumidores. Asimismo concede una gran importancia a las necesidades sociales para la ciencia del valor postulada.
Para Scriven la evaluación cumple dos funciones básicas: la formativa (ayuda a desarrollar programas) y la sumativa (determina el valor del objeto una vez que se ha desarrollado); que van a dar origen a los conceptos evaluación formativa y evaluación sumativa empleados por el autor.
La evaluación formativa centrará su cometido en la determinación de las actividades y resultados sobre la marcha o durante el proceso, a la vez que nos indica hasta qué punto están funcionando o han funcionado bien los procesos y los procedimientos para alcanzar o satisfacer determinados objetivos. En general proporciona ayuda al personal para alcanzar el perfeccionamiento.
La evaluación sumativa se puede llevar a cabo al finalizar una unidad, un semestre, un curso o un ciclo. En ella se analizan todos los efectos de los objetos y se comparan con las necesidades de los consumidores para tomar las decisiones oportunas. Suele ser realizada por un evaluador externo, además se toman como base las aportaciones de la evaluación formativa. En síntesis proporciona valoraciones independientes que nos permiten comparar los costes, los méritos y los valores de los distintos programas.
Algunas de las aportaciones más significativas apuntadas por Scriven hacen alusión a la distinción entre la evaluación amateur (autoevaluación) en las primeras fases, reservando la evaluación profesional para las últimas etapas del desarrollo del programa. Asimismo establece una distinción entre la evaluación intrínseca (cualidades de la mediación) y la evaluación final (efectos sobre los clientes). Prefiere una propuesta de evaluación sin metas, lo que lleva al evaluador a analizar todos los efectos del programa y no solo aquellos que traten de ratificar o no la consecución de unos objetivos, este enfoque se considera menos intrusivo, más adaptable a los cambios, fomenta el hallazgo de efectos secundarios, mas estimulante profesionalmente y más equitativa en la visión social de los valores. Además se concede una gran importancia a la valoración de las necesidades y las repercusiones que ello puede tener sobre el desarrollo del programa, lo que le permitirá juzgar los resultados del mismo como buenos, malos o indiferentes, ello implica una gran complejidad práctica.
La lista de control de indicadores de Scriven que ha tenido diversas actualizaciones en los últimos años se concreta en los puntos siguientes:
1. Descripción: qué es lo que se va a evaluar.
2. Clientes: quién encarga la evaluación.
3. Antecedentes y contexto: del objeto evaluado y de la evaluación en sí misma.
4. Recursos: disponibles para su uso por los colectivos implicados.
5. Funciones: que hace el evaluando.
6. Sistema de distribución: qué se consigue y cómo se alcanza.
7. El consumidor: quién está utilizando o recibiendo los efectos.
8. Las necesidades y los valores: de la población afectada real o potencialmente.
9. Normas: previamente validadas, de mérito o valor a aplicar.
10. Procesos: limitaciones de costes, beneficios de las operaciones normales.
11. Resultados: efectos producidos.
12. Generalización: a otras personas, lugares, tiempos o versiones.
13. Costes: económicos, psicológicos, personales. Inicial, repeticiones. Directos, indirectos.
14. Comparaciones: con otras opciones alternativas.
15. Significado: síntesis de todo lo anterior.
16. Recomendaciones: sean o no requeridas y puedan llevarse a cabo o no en situaciones reales.
17. El informe: cuidar el vocabulario, la extensión, el diseño, tiempo, localización, personal, presentación.
18. La meta-evaluación: debe realizarse antes de la realización y la difusión del informe.
Estas propuestas no necesariamente deben llevarse a cabo de una forma secuencial, si bien, una vez recogidos los datos, analizados y sintetizados, el evaluador puede introducir sus tendencias en el informe final y someterlas a crítica antes de la redacción definitiva del informe de evaluación.
2.5. Modelo de PÉREZ JUSTE: evaluación integral e integrada:
Partiendo del concepto de evaluación de programas apuntado al comienzo de la exposición cabe resaltar como notas básicas de esa definición la idea de proceso incardinado en algo más amplio que lo meramente medicional, además sistemático lo que implica una planificación, diseñado de forma intencional y técnica, esto es, reconociendo explícitamente el papel del evaluador y las exigencias técnicas de esta tarea. La recogida de información supone una superación de los modelos restrictivos de prueba y ampliar los datos a efectos no planeados inicialmente, además esta información deber ser rigurosa (exige planteamientos científicos), válida (riqueza de datos) y fiable (precisa en sus aportaciones). El concepto incluye el juicio de valor lo que nos lleva a explicitar tanto los criterios como las referencias para analizar la calidad y los logros del propio programa educativo. Todo ello dirigido al objetivo último de la toma de decisiones que repercutan sobre la mejora no solo centradas en el programa educativo sino en el personal implicado en su realización, lo que repercutirá de forma positiva sobre el grupo social sobre el que se está trabajando.
La propuesta del modelo evaluativo recoge tres momentos que a su vez comprenden unas dimensiones con unos objetos concretos que precisan de los correspondientes criterios e indicadores de evaluación. En dicha propuesta se pone de relieve la importancia de la evaluación integral de todos los elementos que intervienen en el proceso educativo e integrada en un marco de referencia más amplio como es el centro escolar o el propio sistema educativo.
De forma esquemática los puntos propuestos por Pérez Juste (1994) en su modelo son los siguientes:
1. Momento inicial (el programa en sí mismo): que comprende tres dimensiones:
- Calidad intrínseca del programa:
* Contenido del programa.
* Calidad técnica.
* Evaluabilidad.
- Adecuación al contexto:
* Respuesta a necesidades y carencias.
* Priorización.
- Adecuación a la situación de partida:
* Viabilidad
2. Momento procesual (el programa en su desarrollo): comprende dos dimensiones:
- Ejecución:
* Actividades.
* Secuencias.
* Tiempo.
* Flexibilidad.
- Marco:
* Clima.
* Coherencia.
3. Momento final (el programa en sus resultados): comprende tres dimensiones:
- Medida y logros:
* Constatación.
* Contraste.
- Valoración:
* Criterios.
* Referencias.
- Continuidad:
* Decisiones.
* Incorporación de las mejoras.
* Plan de seguimiento.
Esta propuesta es muy ambiciosa en sus planteamientos, si bien como el mismo autor reconoce, no se trata de llevarla a cabo en un contexto determinado de forma exhaustiva, sino que, puede ofrecer unas pautas rigurosas de actuación a los evaluadores en el marco escolar. Quizá una de las aportaciones principales a destacar radica en el rigor con que se trata la evaluación inicial (el programa en sí mismo), ello permitirá conocer, antes de someter a aplicación, las virtualidades y los posibles defectos del programa, de tal forma que se puedan tomar decisiones de mejora del mismo. Por ello, destacaríamos el marcado matiz pedagógico del modelo, traducido a lo largo de toda la propuesta y de forma más explícita en la formulación de los criterios e indicadores de la evaluación formulados para cada uno de los momentos y dimensiones.
2.6. Consideraciones finales:
Las anteriores propuestas de evaluación de programas educativos abarcan un amplio espectro informativo para que el docente, en el contexto específico de su programa, aula o centro, pueda llevar a cabo una evaluación sólida y científica. La opción elegida no necesariamente debe coincidir en sus extremos con alguno de los modelos, al contrario, las diferentes aportaciones pueden enriquecer el trabajo y ofrecernos una visión más crítica y objetiva de la realidad educativa analizada.
No obstante, la propia realidad del profesorado en su centro educativo, con una sobrecarga en la actividad docente directa en el aula ante sus alumnos, hace que el resto de posibles tareas educativas se vean desplazadas en aras a cubrir unas necesidades prioritarias.
Desde esta visión objetiva, hacemos la propuesta, para que sirva como reflexión a los docentes en ejercicio, sobre los diferentes cometidos del área evaluativa, que completen la clásica evaluación de los aprendizajes de los estudiantes, cometido casi exclusivo del profesorado en estos niveles educativos.
Comentarios
Publicar un comentario