¿Por qué razón la evaluación es política?
La
ética y la política son temas para todos los evaluadores, especialmente para
aquellos que trabajan con agencias de gobierno que reciben fondos estatales y
federales. Las presiones internas dentro de una organización de desarrollo
también pueden crear problemas éticos. Esto incluye temas éticos y
consideraciones políticas en evaluaciones. La
evaluación utiliza muchas de las mismas metodologías utilizadas en la
investigación social tradicional, pero debido a que la evaluación tiene lugar
en un contexto político y organizacional, requiere habilidades de grupo,
capacidad de gerencia, destreza política, sensibilidad a múltiples escenarios y
otras habilidades que la investigación social en general no incluye.
¿Cuáles son algunas de las acciones que un evaluador
puede tomar para trabajar efectivamente en un ambiente político?
La
evaluación es un proceso racional que tiene lugar en un contexto político. Estas
consideraciones se interponen de algunas maneras principales y el evaluador que
no reconoce su presencia está en una serie de choques y frustraciones (Fitzpatrick,
Sanders, & Worthen, 2011):
- Acuerdos
basados en decisiones políticas.
En primer lugar algunas de las regulaciones políticas y programas con los
que trabaja en gobierno estatal y federal, por ejemplo, se llevan a con
acuerdos de evaluación basados en decisiones políticas.
- La
evaluación se lleva a cabo con el fin de alimentar la toma de decisiones,
sus informes entran en contexto de la política. Para que haya evidencia
evaluativa de los resultados del programa, se tiene que competir por la
atención con otros factores que llevan peso en el proceso político.
- La
evaluación debe contener una postura política.
Por esto, la naturaleza de los programas, la legitimidad de los objetivos
del programa y las estrategias del programa, la utilidad de las
estrategias de reforma incremental e incluso el papel apropiado del
científico social en la formación de políticas y programas.
¿Por qué las destrezas de comunicación son importantes en
una evaluación?
La
comunicación es uno de los componentes esenciales del sistema de evaluación del
rendimiento de toda organización. Las empresas que ofrecen capacitación en
liderazgo alientan a los supervisores a mantener líneas de comunicaciones
abiertas y sinceras con los empleados que se reportan a ellos. Esto fomenta el
diálogo bi-direccional necesario que debe ocurrir durante las evaluaciones de
desempeño y mejora la capacidad de los empleados para satisfacer las
expectativas de la empresa.
¿Cuáles son algunas de las normas (“standards”)
esenciales por las que se juzga una buena evaluación?
Las
normas esenciales de los procesos de evaluación están destinadas a aumentar la
medida en que los participantes encuentran que los procesos de evaluación y los
productos son valiosos para satisfacer sus necesidades. Como mínimo deben
contener (Fitzpatrick, Sanders, & Worthen, 2011):
- Credibilidad
del evaluador: Las evaluaciones deben
ser realizadas por personas calificadas que establezcan y mantengan
credibilidad en el contexto de la evaluación.
- Atención
a las partes interesadas: Las
evaluaciones deben prestar atención a toda la gama de individuos y grupos
invertidos en el programa y afectados por su evaluación.
- Propósitos
negociados: Los objetivos de la
evaluación deben ser identificados y negociados continuamente en base a
las necesidades de las partes interesadas.
- Valores
explícitos: Las evaluaciones deben
aclarar y especificar los valores individuales y culturales que sustentan
los propósitos, procesos y juicios.
- Información
relevante: La información de
evaluación debe servir a las necesidades identificadas y emergentes de las
partes interesadas.
- Procesos
y Productos Significativos:
Las evaluaciones deben construir actividades, descripciones y juicios de
manera que alienten a los participantes a redescubrir, reinterpretar o
revisar sus entendimientos y comportamientos.
- Evaluaciones
oportunas y apropiadas de comunicación y reporte:
Las evaluaciones deben atender a las necesidades continuas de información
de sus múltiples audiencias.
- Preocupación
por las consecuencias: deben promover
el uso responsable y adaptable mientras que guarda contra las
consecuencias negativas involuntarias y el mal uso.
¿Cuáles son algunas de las obligaciones éticas
importantes para un evaluador?
- Confidencialidad
Como
ejemplos, los evaluadores no pueden revelar a nadie lo siguiente:
- Información
sobre un caso institucional en revisión, incluyendo el análisis de
materiales institucionales;
- Discusiones
del Comité antes y durante la reunión; Y el material de recurso que
constituye el caso
- Información
distribuida por el personal de la Comisión y comentarios orales del
personal
- Conclusiones
y recomendaciones del comité
- Decisiones
anteriores de los Comités de Cumplimiento e Informes o del Consejo
Ejecutivo que pueden haber sido compartidas como parte del registro para
su revisión
- Justificación
de una recomendación del comité referente a una institución
Sin
un compromiso de confidencialidad por parte de todos los evaluadores y en todos
los aspectos del proceso de revisión, los evaluadores no pueden ejecutar
libremente su responsabilidad de comportarse con integridad profesional en las
actividades y decisiones de acreditación.
- Conflictos de interés
Como ejemplo en el
área de la educación, un evaluador tendría un conflicto de intereses si él o
ella:
- Está
empleado dentro de un estado donde se localiza el campus padre de la
institución;
- Ha
sido consultor en la institución en los últimos diez años;
- Ha
sido nombrado por la institución en los últimos diez años (por ejemplo,
miembro del consejo);
- Ha
sido empleado de la institución;
- Ha
sido candidato a empleo en la institución en los últimos diez años;
- Es
graduado de la institución;
- Tiene
una estrecha relación personal o familiar con personas en la institución o
un fuerte sesgo con respecto a la institución;
- Es
accionista o miembro de la junta de la institución;
- Tiene
alguna otra relación que pudiera servir como impedimento para lograr un
objetivo imparcial y objetivo, juicio profesional sobre la acreditación de
una institución; o
- Es
miembro de la Junta Directiva y ha sido invitado a servir como presidente
o miembro de una evaluación o Comité programado para revisar la
institución de otro miembro del Consejo.
¿Cuáles son algunas de las fuentes de sesgo (“bias”) que
pueden afectar una evaluación?
Sesgo de muestreo
El
primer tipo de sesgo es el sesgo de muestreo. Es fácil enviar encuestas o
entrevistar a ciertos participantes que conoce y gusta y que están
favorablemente dispuestos al programa. También hay una tendencia a enviar la
información a los participantes recientes, que por lo general siguen
entusiasmados con el curso y la oportunidad de implementar sus planes de
acción.
Estas
prácticas pueden resultar en datos contaminados introduciendo sesgo de
muestreo. Siempre debe realizar encuestas o entrevistas con los participantes
seleccionados de forma aleatoria.
Tamaño insuficiente de la muestra
El
segundo sesgo proviene de no tener una muestra suficientemente grande. El
muestreo generalmente se aplica a evaluaciones de Nivel 3 y 4. Usted podría
dibujar su muestra de la población entera; En este caso, todos los
participantes que toman un curso.
Alternativamente,
si un curso tiene varias entregas, usted podría seleccionar al azar las entregas
particulares para evaluar. Dependiendo del tamaño de la audiencia, es posible
que desee seleccionar al azar a los participantes de cada entrega para que se
evalúen. Por ejemplo, si diseñó y entregó un curso de capacitación de ventas
que se entrega dos veces al mes con un tamaño promedio de clase de 24
participantes, podría seleccionar al azar dos o tres de las 24 entregas. A
continuación, puede seleccionar aleatoriamente a los participantes de cada
entrega. Asegúrese de determinar estadísticamente el tamaño de la muestra
requerido para proporcionar datos confiables, porque una muestra que es
demasiado pequeña no es representativa de toda la población o grupo (Fitzpatrick,
Sanders, & Worthen, 2011).
Sesgo de observación
La
técnica de observación no está exenta de problemas de sesgo. Cuanto más visible
es el proceso de observación, menos fiables son los datos. Los participantes
actuarán de manera diferente si saben que están siendo observados, y un
observador que no está entrenado o que se les da instrumentos apropiados
aumenta la confiabilidad de los datos. Por lo tanto, lleve a cabo sus
observaciones de la manera menos intrusiva posible mientras sigue recibiendo la
información que necesita. Proporcionar capacitación a los observadores y
utilizar algún tipo de instrumento, como una lista de verificación, para ayudar
en la observación.
Sesgo en entrevistas y grupos focales
Las
entrevistas y grupos focales pueden proporcionar información de alta calidad.
Para ser más útil y evitar prejuicios, el diseño de la entrevista debe asegurar
que (Fitzpatrick, Sanders, & Worthen, 2011):
- La
muestra es representativa de la población
- Los
participantes entienden las preguntas
- Los
participantes son participantes dispuestos (su participación no es
obligatoria)
- El
entrevistador es entrenado en técnicas de entrevistas y sabe cómo
registrar la información con precisión
- Hay
un protocolo para la coherencia en el cuestionamiento
- Existe
un método para evaluar objetivamente los resultados de la entrevista
Sesgo emocional
Este
tipo de sesgo afecta a la evaluación de en la mayor medida posible. Se produce
cuando los participantes permiten que sus sentimientos (como o no) para el
facilitador sesgar sus calificaciones. Aficionar y no gustar son emociones que
se dirigen hacia un objeto o persona. En este caso, el objeto del gusto o la
aversión podría ser el programa o el facilitador. Si estas emociones no se
controlan, pueden contaminar las calificaciones. Este tipo de sesgo es difícil
de abordar. Una solución es proporcionar evaluaciones provisionales para
permitir que los participantes se expresen.
¿Cómo se pueden minimizar tales sesgos?
En
reconocimiento de que se produce un sesgo y debe reducirse al mínimo para una
evaluación imparcial y objetiva, existen estrategias para reducir los sesgos,
como la creación de un "sistema de documentación sistemáticamente
mantenido" (Fitzpatrick, Sanders, & Worthen, 2011). Esta documentación
podría incluir notas, percepciones, procedimientos, métodos, reflexiones y
esbozar el rastro de la evaluación. La documentación sería útil para que el
evaluador revise para determinar si hay algún sesgo. Además, el evaluador
podría tener un evaluador externo revisando objetivamente la pista de auditoría
de la evaluación para sesgo. Otra estrategia sería realizar una meta-evaluación,
que básicamente tiene la evaluación revisada por evaluadores externos para el
control de calidad (Fitzpatrick, et al., 2011).
Fitzpatrick,
J., Sanders, J., & Worthen, B. (2011). “Political, Interpersonal, and
Ethical
Issues in Evaluation” (4th. Ed.). Upper Saddle River,
New Jersey: Pearson Education, Inc.
