Reflexión y respuestas libro de texto: “Evaluation’s Basic Purpose, Uses, and Conceptual Distinction”

Luego de leer y analizar el Capítulo 1 del libro de texto “Evaluation’s Basic Purpose, Uses, and Conceptual Distinction” este trabajo se dirige a la reflexión y respuesta de varias preguntas alineadas a definir  lo que es la evaluación, sus propósitos, sus roles, diferencias entre los tipos de evaluación, así como el modo en que la misma se puede aplicar en la evaluación de necesidades, procesos y el alcance de resultados.  Además, se discutirán las ventajas y desventajas de los evaluadores internos y externos.  Todo esto alineado a lo que sería nuestro desempeño en una entidad educativa, que es nuestro campo de estudios.

¿Qué es la evaluación? ¿Por qué razón es importante?

La evaluación es un proceso que examina críticamente un programa. Se trata de recopilar y analizar información sobre las actividades, las características y los resultados de un programa. Su propósito es hacer juicios sobre un programa, mejorar su efectividad y / o informar decisiones de programación (Patton, 1987).

Según Bruckner (1995), es importante porque la evaluación puede y debe ser utilizada como una herramienta continua de gestión y aprendizaje para mejorar la eficacia de una organización. Las entidades bien gestionadas y los programas eficaces son aquellos que pueden evidenciar el alcance de las ganancias y metas. Los resultados se derivan de una buena gestión (Pancer, and Westhues 1989). La buena gestión se basa en una buena toma de decisiones. La buena toma de decisiones depende de una buena información. Una buena información requiere buenos datos y un cuidadoso análisis de los datos. Todos estos son elementos críticos de la evaluación.

La evaluación del programa, realizada de manera regular, puede mejorar en gran medida la gestión y la eficacia de su organización y sus programas. Para ello, es necesario comprender las diferencias entre el monitoreo y la evaluación, hacer que la evaluación sea parte integral de la planificación y ejecución regular del programa y recopilar los diferentes tipos de información que necesitan los gerentes de los diferentes niveles de la organización.

¿Cuál es la diferencia entre la evaluación formal e informal?

De acuerdo a Thomson, G. y Hoffman, J. (2003):

• Las evaluaciones formales utilizan el desempeño de los estudiantes en base a sus calificaciones en las pruebas estandarizadas, mientras que las evaluaciones informales son de naturaleza cualitativa y no tienen herramientas estandarizadas para la evaluación.
• A veces detenerse entre conferencias y observar a los estudiantes, para ver su nivel de participación, puede ser una forma de evaluación informal, mientras que las pruebas, cuestionarios, ensayos, informes de laboratorio, etc. siguen siendo importantes herramientas de evaluación formal.
• Las evaluaciones formales están estandarizadas y tienen criterios de evaluación, mientras que las evaluaciones informales son subjetivas y no hay criterios para evaluar el desempeño.

Algunos estudiantes se ponen nerviosos cuando toman evaluaciones formales y no realizan su verdadero potencial, mientras que también hay estudiantes que se ponen nerviosos cuando el maestro les pide de repente que respondan. Por lo tanto, los maestros necesitan tener una combinación saludable de ambos tipos de evaluaciones para evaluar las habilidades de sus estudiantes.

¿Cuáles son algunos de los propósitos de la evaluación? ¿Qué roles puede desempeñar la evaluación?

El objetivo principal de la evaluación era centrarse más en el proceso de implementación que en su impacto, ya que esto sería mínimo después de un tiempo tan corto, accediendo en particular a los enfoques participativos utilizados para identificar a los beneficiarios del proyecto y al papel de las comunidades en la implementación y seguimiento del proyecto. Por mucho que quisiéramos abrazar la mentalidad de "todos son ganadores", la evaluación es un componente crucial de la educación. Sin evaluación y medición, es imposible conocer las necesidades y preferencias de un estudiante. La evaluación también es usada por las universidades para determinar qué estudiantes pueden ser admitidos.

Aunque las funciones específicas de medición y evaluación pueden variar, hay un tema subyacente: la medición y la evaluación son necesarias para determinar si los estudiantes están aprendiendo (Fitzpatrick, Sanders, and Worthen, 2010). El propósito más básico de la evaluación educativa es determinar cuáles son las necesidades del estudiante. Con pruebas y evaluaciones adecuadas en los primeros grados, se pueden identificar y tratar las discapacidades y desventajas de aprendizaje. Sin pruebas, los problemas pueden pasar desapercibidos durante años. Mientras que la prueba educativa no puede en sí misma ser la base para un diagnóstico, puede señalar a estudiantes en una dirección que pueda conducir en última instancia al psicólogo, que puede diagnosticar condiciones.

¿Cuáles son las mayores diferencias entre una evaluación formativa y sumativa?

Tipo de evaluación	Diferencias
Evaluación formativa	La evaluación formativa se utiliza durante el proceso de enseñanza-aprendizaje para monitorear el proceso de aprendizaje. La evaluación formativa es de naturaleza evolutiva. El objetivo de esta evaluación es mejorar el aprendizaje de los estudiantes y la enseñanza del maestro. En general, las pruebas realizadas por el maestro se utilizan para este propósito. Los elementos de prueba están preparados para un área de contenido limitado. Ayuda a saber hasta qué punto se han logrado los objetivos de instrucción. Proporciona retroalimentación al maestro para modificar los métodos y prescribir trabajos correctivos. En esta evaluación sólo se pueden probar algunas habilidades. Es un proceso continuo y regular. Considera la evaluación como un proceso. Responde a la pregunta de si el progreso de los alumnos en una unidad es exitoso.
Evaluación sumativa	La evaluación sumativa se utiliza después de la finalización del curso para asignar las calificaciones. La evaluación sumativa es de naturaleza terminal. Su propósito es evaluar el logro del estudiante. Generalmente se utilizan pruebas estandarizadas para este propósito. Los ítems de las pruebas se preparan de todo el área de contenido. Ayuda a juzgar la conveniencia de los objetivos de instrucción. Ayuda al maestro a conocer la efectividad del procedimiento de instrucción. Se puede probar un gran número de habilidades en esta evaluación. No es un proceso regular y continuo. Considera la evaluación como un producto. Responde a la pregunta, el grado en que los estudiantes han dominado el contenido del curso.

¿Qué preguntas podría abordar un evaluador en una evaluación de necesidades, una evaluación de procesos y una evaluación de resultados?

Una evaluación bien planificada y cuidadosamente ejecutada recogerá más beneficios para todas las partes interesadas que una evaluación que se hace apresurada y retrospectivamente (Agrawal, 2004). Aunque podemos sentir que no se tiene tiempo, recursos y experiencia para llevar a cabo una evaluación, aprender sobre la evaluación temprana y la planificación con cuidado nos ayudará a navegar el proceso.

Según Bruckner (1995), los tipos de preguntas se seleccionan dependiendo del enfoque de la evaluación:

Relevancia	¿Son los servicios y estrategias del programa apropiados para las necesidades que deberían cubrir?
Idoneidad	¿Está cubriendo el programa todas las necesidades que debería cubrir?
Progreso	¿Está llevando a cabo el programa todo lo programado dentro del marco de tiempo estipulado y con sujeción al presupuesto?
Efectividad	¿Está logrando el programa sus objetivos intermedios y cubriendo las necesidades de sus clientes?
Impacto	¿Ha producido el programa los resultados de largo plazo que se esperaban?
Eficiencia	¿Son los resultados del programa (productos) apropiados al uso de sus recursos (insumos)?
Sustentabilidad	¿Está el programa/la organización prestando servicios de alta calidad a sus clientes, aumentando o manteniendo la demanda de servicios y generando ingresos a nivel local, al mismo tiempo que disminuye su dependencia en los fondos de los donantes externos?

Preguntas que un evaluador puede abordar de acuerdo al tipo de evaluación

Tipo de Evaluación	Preguntas
Evaluación de Necesidades	Enumere los dos problemas que más frecuentemente se encuentran en el aula: ¿Qué habilidades o procedimientos se beneficiarían al aprender o revisar? ¿Qué lagunas de práctica, si las hubo, ha observado entre el proceso de aprendizaje? ¿Qué áreas de su desarrollo profesional continuo son difíciles de manejar o resolver que le gustaría mejorar en general (por ejemplo, evaluaciones / rúbricas, asuntos legales, etc.)? ¿Cuáles son sus sugerencias para temas futuros?
Evaluación de Procesos	¿Cuáles son tres maneras en las que funcionó bien como equipo? ¿Qué problemas ha tenido interactuando como un equipo? ¿Qué es una acción específica que ayudaría al equipo a funcionar e interactuar aún mejor la próxima vez? ¿Cuántos de los miembros del equipo participaron activamente la mayor parte del tiempo? Sugiera un cambio concreto y práctico que el equipo podría hacer para ayudar a mejorar el aprendizaje de todos. ¿Cuántos de ustedes estaban completamente preparados para el trabajo en equipo la mayor parte del tiempo?
Evaluación de Resultados	¿Cuáles son sus sugerencias para temas futuros? El triángulo de calidad de datos: fiabilidad, validez y oportunidad ¿Los indicadores mejoraron? ¿empeoraron? ¿Hubo una progresión en línea recta o de qué manera?

¿Cuáles son las ventajas y desventajas de un evaluador interno? - ¿Un evaluador externo?

De acuerdo a Bruckner (1995), las ventajas y desventajas de considerar un evaluador interno, versus uno externo, definirían de la siguiente manera:

	Ventajas	Desventajas
Evaluador Interno	Conoce la organización y las formas de trabajar. Entiende y puede interpretar el comportamiento y las actitudes personales. Dado que es conocido por el personal, es menos probable que cause ansiedad o interrupción. Mejor seguimiento de las recomendaciones. Usualmente es menos costoso. No requiere procedimientos de reclutamiento largos. Ayuda a desarrollar la capacidad de evaluación interna, a nivel nacional o nacional. Mejor capacidad para comunicar los resultados de la evaluación en toda la organización.	Es más difícil ser objetivo. Puede evitar conclusiones negativas, que reflejan mal a los individuos o a la organización. Tiende a aceptar suposiciones de organización sin crítica. Puede ser restringido por las demandas del trabajo existente (si es secundado a una evaluación) y no puede dar tiempo suficiente a la evaluación. Puede ser parte de la estructura de autoridad, involucrada en la política interna o conflictos. Puede que no esté completamente capacitado o tenga experiencia en evaluación. Puede que no tenga la experiencia técnica necesaria.
Evaluador Externo	No involucrado personalmente, por lo que es más objetivo. Libre de sesgo organizacional, puede aportar una nueva perspectiva. Puede tener una amplia experiencia en el campo. Puede ser capacitado y experimentado en la realización de evaluaciones. Puede actuar como árbitro o mediador neutral en los casos en que la evaluación revela conflictos de interés. Puede aportar conocimientos técnicos o asesoramiento.	Puede que no entienda completamente las políticas, procedimientos, personalidades y ethos de la organización. Puede no apreciar el ambiente político y cultural local. Puede no apreciar las limitaciones en la implementación de las recomendaciones. Puede ser visto como adversario crítico, despertando ansiedad y actitud defensiva. Puede ser costoso. Toma tiempo para reclutar, resumir y orientar. Menor probabilidad de ser capaz de dar seguimiento a la implementación de las recomendaciones.

Conclusión

Los estudiantes, los maestros y los administradores escolares pueden usar la  información de evaluación para mejorar el aprendizaje siempre y cuando se: (1) Recopilen información de buena calidad que representa justamente lo que los estudiantes saben y pueden hacer; (2) Analicen la información para determinar con precisión los logros de los estudiantes; y (3) Interpreten correctamente la información para reportar los logros y avances de los individuos y grupos de estudiantes e identificar sus próximos pasos de aprendizaje.  Cuando los estudiantes, maestros y padres están bien informados sobre sus logros, progreso y próximos pasos de aprendizaje, están mejor equipados para tomar buenas decisiones sobre su propio aprendizaje futuro.

Referencias

Agrawal, Matma (2004) “Journal of Curriculum Studies”, Curricular reform in Schools”

The Importance of Evaluation.

Bruckner, Bates C. et al., eds. A Guide to Methods of Family Planning Program

Evaluation 1965-1990. The EVALUATION Project, Carolina Population Center, University of North Carolina, Chapel Hill, NC, 1995.

Fitzpatrick, J.L., Sanders, J.R., Worthen, B.R. (2013) Program Evaluation: Alternative

Approaches, and Practical Guidelines; Chapter 1: Evaluation’s Basic Purpose, Uses, and Conceptual Distinctions (1): 3-37

Pancer, S. M., Westhues, A. (1989) "A developmental stage approach to program

planning and evaluation." Evaluation Review (13): 56-77.

Patton, M.Q. (1987). Qualitative Research Evaluation Methods. Thousand Oaks, CA:

Sage Publishers

Thomson, G. & Hoffman, J. (2003). Measuring the success of EE programs. Canadian

Parks and Wilderness Society.