Documento(s) 8 de 13

En este capítulo se exploran cuestiones clave de la realización de evaluaciones organizacionales que responden a los importantes programas presentados por consumidores y usuarios. Si bien el capítulo proporciona principios generales y asesoramiento para llevar a cabo evaluaciones organizacionales, no tiene el propósito de ser un manual práctico. En lugar de ello, el objetivo es ayudar al lector a comprender las consideraciones que se necesitan para una evaluación organizacional efectiva. En el apéndice 2 se presenta un ejemplo de esbozo de evaluación organizacional.

JUSTIFICACIÓN: ¿POR QUÉ HACERLO?

Antes de considerar la manera de enfocar una evaluación organizacional, es preciso reflexionar sobre por qué y para quiénes se realiza. Por lo general, las evaluaciones son iniciadas por algún patrocinador, inversionista o miembro de una organización o por la organización misma.

Algunos de los principales motivos para iniciar la evaluación se resumen en el cuadro de la página siguiente. Está claro que quien inicia la evaluación determina el enfoque. Por lo tanto, el programa rara vez es neutral, y más bien refleja las necesidades, intereses, valores y preconceptos de las personas que lo inician. El comprender la motivación general para iniciar una evaluación ayuda en gran medida a evitar problemas cuando se lleva a cabo más adelante.

Dado que el subdesarrollo es en gran medida el resultado de marcos institucionales limitantes y organizaciones no productivas, el desafío último de la realización de una evaluación organizacional y la implantación de sus resultados es determinar de qué manera la intervención puede mejorar el desempeño de la organización.

EL PROCESO DE LA EVALUACIÓN

La gestión de una evaluación comienza por entender la motivación para conducirla. Es importante saber si la evaluación está motivada desde dentro o desde fuera de una organización. Los que se dedican a la evaluación necesitan determinar cuatro puntos: (1) el objetivo central de la evaluación; (2) el tiempo y el presupuesto; (3) el enfoque general; y (4) cómo comunicar y utilizar la evaluación. Estos asuntos están contenidos idealmente en términos de referencia escritos que ayudan a aclarar y comunicar las intenciones. La forma de dichos términos variará entre una evaluación externa y una autoevaluación pero, en cualquier caso, los términos son útiles para mantener en el rumbo adecuado el proceso y la visión del producto.

Muchas evaluaciones padecen de términos de referencia preparados en forma deficiente que son poco más que una recopilación de preguntas de varios interesados. Dichos términos de referencia reflejan inexperiencia y necesitan reformularse antes de que pueda comenzarse una evaluación productiva. Esto puede lograrse mediante una mejor conceptualización del plan de trabajo que responde a los términos de referencia. El proceso de elaboración de estos términos puede constituir un importante paso al frente en toda evaluación organizacional, en particular si el

proceso refleja la participación de los interesados directos y la aclaración de valores, cuestiones y otras inquietudes. En realidad, opiniones divergentes en cuanto a los términos de referencia por lo general constituyen una señal precoz de que los interesados tienen diferencias fundamentales en cuanto a sus perspectivas, diferencias que no serán más fáciles más adelante en el proceso de evaluación.

Una estructura de gestión general para la evaluación organizacional es el aspecto humano de lo que subyace en los términos de referencia y, como tal, necesita consideración cuidadosa. Para las evaluaciones externas en países desarrollados, un comité de dirección formado por interesados directos guía generalmente el proceso de evaluación. No obstante, los comités de dirección no constituyen una panacea para una gestión fructífera. Necesitan tener una función definida más allá de tan solo recibir el informe de evaluación. El mayor valor de estos comités puede ser aclarar los intereses de los interesados directos, sus valores y perspectivas sobre las preguntas, metodologías y fuentes de datos; lograr su participación en la verificación detallada de los resultados preliminares; abordar problemas políticos y de otra índole, y proporcionar un foro dinámico para el debate y la discusión de la versión preliminar del informe. Como mecanismo de gestión, los comités de dirección deben incluir a los interesados clave; de otro modo se corre el riesgo de una gestión imperfecta.

La relación entre el cliente y el revisor, por lo general, es contractual cuando el revisor principal es externo, si bien con frecuencia es una relación informal en el caso de la evaluación interna. La formalidad tiene ventajas en términos de proteger todos los intereses e impedir que la evaluación se convierta en la cola que mueve al perro. El contrato aclara el esfuerzo y el costo del proceso. Tanto los términos de referencia como el contrato formalizan la relación, ayudando así a evitar complicaciones que son demasiado comunes, dada la índole política del trabajo de evaluación.

¿Cuánto debería costar una evaluación? Esta es una pregunta que siempre formulan los clientes. La respuesta es similar a la que se da cuando se pregunta el costo de construir una casa para el cliente: depende de lo que usted quiera. Esto no significa propugnar un presupuesto ilimitado; como el arquitecto puede dar fe, esto puede ser más difícil que tener un presupuesto limitado. Es posible realizar una evaluación rápida en una semana, a un costo mínimo; por otra parte, puede llevar varios meses y consumir cientos de miles de dólares. Las evaluaciones varían en materia de alcance y las organizaciones varían en cuanto a su complejidad.

¿Cuánto tiempo debería llevar una evaluación? Debido a la complejidad, no es posible realizar rápidamente una evaluación detallada. Sin embargo, una evaluación rápida que lleva algunos días puede proporcionar una visión general impresionista y examinar ciertos aspectos. Una evaluación válida y completa lleva de tres a seis meses; si fuera más larga, correría el riesgo de la dificultad de tratar de acertar en un blanco en movimiento. La evaluación necesita ser suficientemente concentrada para que la logística sea efectiva en función de los costos y para transmitir la seriedad del cometido. Por otra parte, el tiempo de evaluación debe ser lo suficientemente largo para abordar con justicia las cuestiones básicas. Una evaluación de un gran préstamo para una organización necesita ser más robusta que una destinada a darle al nuevo director un sentido de los principales desafíos por delante.

Un equipo de evaluación efectivo requiere división del trabajo y mecanismos de coordinación. Cuando se cuenta con funciones bien especificadas y esferas de responsabilidad vinculadas a un plan de trabajo general, se evitan muchos problemas. El equipo necesita reunirse para fines de coordinación y también es útil contar con un intercambio continuo de datos, como transcripciones de entrevistas, cuadros y gráficos clave y una lista continua de resultados tentativos. Todo equipo requiere un jefe competente con aptitudes en gestión de proyectos y procesos.

GUÍA DE LA EVALUACIÓN: CÓMO ESCOGER LAS PREGUNTAS

El marco que se describe en capítulos anteriores proporciona un enfoque integral de la evaluación organizacional. Sin embargo, en realidad la evaluación se ajusta a las necesidades percibidas por los interesados directos que la inician. Ya sea que la evaluación se haga en profundidad o sea limitada, hay miles de preguntas para cada evaluación organizacional. La clave es escoger o crear las preguntas que sean más importantes para la organización que se está examinando.

El director de escuela puede preguntar que pasó con los numerosos egresados de años anteriores. El director de departamento de una empresa puede preguntarse si los competidores de otros departamentos están realmente teniendo el desempeño que afirman tener. Un banco internacional de desarrollo puede querer conocer las perspectivas de éxito si el sector de energía se privatiza. Un organismo de desarrollo internacional puede querer entender las necesidades de capacidad en una organización objetivo (ONG). Una nación que contribuye con un organismo de las Naciones Unidas quiere saber si está recibiendo beneficios a cambio de su dinero.

Es fácil preparar una lista de preguntas, pero realizar un esquema de cómo se van a formular dichas preguntas es muy difícil y contiene la clave de una evaluación fructífera. Por lo general, esta parte del proceso de evaluación se realiza en forma

deficiente, pese a constituir el elemento más crítico para iniciar la tarea de manera correcta.

Antes de abordar cuestiones específicas, hay que considerar el tema de los intereses y fines ocultos y la manera en que estos se relacionan con las evaluaciones organizacionales. Con frecuencia, la decisión de realizar algún tipo de revisión es motivada por las percepciones de problemas que existen en la organización. Los directivos o los que proporcionan fondos pueden sospechar un desempeño deficiente y pueden haber prejuzgado los motivos que, por lo general, se relacionan con cuestiones de desempeño del personal. Los patrocinadores pueden considerar la evaluación organizacional como un medio de obtener una mejor comprensión de la situación, sin reconocer en forma transparente el problema que se sospecha. Por cierto, una evaluación organizacional efectiva puede llenar los datos disponibles, pero no debe considerarse un sustituto de evaluaciones de gestión o de desempeño.

El marco de evaluación organizacional proporciona una estructura útil para examinar las preguntas que necesitan formularse. También indica el alcance de las inquietudes y proporciona a los examinadores una referencia que asegura que se aborden todas las facetas relevantes de la evaluación. Si bien el énfasis de una evaluación puede variar de una situación a otra, el contar con un marco proporciona un mapa general que sirve como punto de partida útil. Como se señaló anteriormente, generar una gran cantidad de preguntas no es difícil. El desafío es reducir la lista a lo esencial. El cuadro anterior presenta preguntas genéricas al nivel más general para una evaluación organizacional. Esa lista de preguntas se hace mucho más larga cuando se agregan subpreguntas. Entonces, ¿cuáles son las preguntas más importantes? Esencialmente deben comprenderse los cuatro aspectos del desempeño y luego, lo más posible de las otras dimensiones para comprender cómo se ve influido el desempeño o cómo podría mejorarse. A continuación se presentan enfoques de las preguntas en cada una de las cuatro dimensiones.

Marco para las preguntas sobre desempeño

El desempeño es un tema de importancia primordial y debe incluirse en toda evaluación organizacional. La primera consideración en el análisis del desempeño de una organización es comprender cómo consideran las personas el desempeño. A menos que las personas tengan una idea clara y estén de acuerdo con la definición de desempeño, los examinadores e interesados directos internos estarán en desacuerdo sobre las conclusiones de una evaluación, porque ellos enfocan el desem-

peño desde diferentes perspectivas. Hay dos requisitos: las cuestiones y los indicadores de desempeño y la importancia que se les da. Obsérvese que hay cuestiones e indicadores, ya que a veces lo que se requiere es un análisis (cuestión) que no se reduce a un indicador simplista. En otros, los indicadores dan los datos necesarios para el análisis.

La importancia puede determinarse mediante la reducción de cuestiones e indicadores a una pequeña cantidad (una a tres por dimensión). Con frecuencia las realidades de los datos disponibles dictan qué indicadores pueden incluirse, por lo menos la primera vez que una organización participa en una evaluación. Es mejor concentrarse en datos que pueden obtenerse fácilmente y finalizar la evaluación en los plazos fijados que dedicar muchos meses a tratar de hallar datos esquivos. Una evaluación organizacional es solamente un panorama en un punto dado del tiempo. El análisis puede, y debe, continuar en evaluaciones subsiguientes. Si las per-

sonas limitan sus cuestiones e indicadores de esta manera, es relativamente fácil ver lo que es importante. Hay situaciones en las que diversos interesados directos no pueden concordar. Si las diferencias no pueden resolverse, no existe una base para que una evaluación pueda ser apoyada por diferentes interesados, de modo que no se puede pretender un proceso que incluya todo.

Preguntas relacionadas con la capacidad

Es preciso entender la capacidad en términos de su relación con el desempeño más que como respuesta a los deseos de las personas dentro de la organización. Las preguntas sobre capacidad se prestan a referencias sobre normas y a referencias sobre

criterios. Los enfoques que hacen referencia a normas comparan las capacidades con puntos de referencia en organizaciones de industrias similares. Esto permite que los examinadores realicen juicios comparativos una vez que conocen las respuestas a ciertas preguntas. Por ejemplo, ¿cuál es el alcance del control que tienen los gerentes? ¿Cuál es la proporción de personal de apoyo a profesionales? ¿Cuáles son las reservas de efectivo? ¿Cuántas computadoras de cada tipo hay disponibles? Al comparar las respuestas con promedios o mejores prácticas, los examinadores pueden formular juicios sobre la capacidad y su adecuación.

Reconocemos que en muchos casos no existen puntos de referencia fácilmente disponibles. Los equipos de evaluación organizacional con experiencia pueden tener acceso a comparaciones relevantes que los equipos inexpertos no tienen. Pero si no se cuenta con puntos de referencia, debe haber una inversión para recopilarlos o la evaluación debe descartarlos utilizando el enfoque de base con comparaciones en el tiempo.

Un enfoque con referencia a criterios utiliza convenciones que reflejan valores para la capacidad. Por ejemplo, a veces las organizaciones se refieren a normas para medidas como la proporción de personal de apoyo a gerentes, la proporción de personal con calificaciones declaradas, la cantidad de miembros del personal que tienen acceso a una computadora y así sucesivamente. Las mejor desarrolladas son las

normas (como las ISO) que prescriben los requisitos necesarios para que una organización logre reconocimiento por cumplir con el estándar correspondiente.

Cuestiones y preguntas motivacionales

La evaluación de la motivación es sumamente ardua debido a que las personas son complejas. Si se coloca a estas personas juntas en grupos y organizaciones, las dificultades se multiplican. Medir la motivación es similar a tratar de evaluar los valores de la comunidad; son difíciles de definir, pero se conocen cuando se ven. Decir que una organización padece de un mal no es difícil y tal vez ni siquiera se cuestione; sin embargo, representar esto plantea inconvenientes. Hay instrumentos de la cultura empresarial que pueden ayudar, y algunos de ellos permiten comparaciones que colocan las dimensiones de la cultura en relación con las normas. Con frecuencia también es útil adoptar enfoques cualitativos y proporcionar anécdotas, viñetas o citas para ilustrar las actitudes de los empleados sobre su organización.

La consideración crucial en la evaluación de la motivación es comprender los tipos de cuestiones y los datos correspondientes que los interesados directos entienden. Con frecuencia un acontecimiento único o una serie de acontecimientos pueden tener profundos efectos en la motivación general de un departamento, de una región o de toda la organización. Por ejemplo, un gerente poco sensible puede provocar a todo el personal, lo que a su vez tiene un profundo efecto en la manera en que se realiza el trabajo y funciona la organización. A nivel individual, con frecuencia los empleados se ven afectados personalmente por críticas injustas o, en el otro extremo, por recibir elogios.

Cuando se les pregunta a los empleados sobre sus impresiones de la organización, con frecuencia se capta la esencia de la motivación. Comentarios como: "es el mejor lugar donde he trabajado" o "estamos a la cabeza en nuestro campo" sugieren una motivación que apoya la misión.

Determinar lo que se debe saber sobre el ambiente

Todos nosotros entendemos que el ambiente influye en toda organización. Exige expectativas en la capacidad de una organización de lograr su misión, proporciona límites sobre sus grados de libertad, otorga subsidios financieros y establece reglas del juego que enmarcan el desarrollo organizacional. Además, el ambiente puede

describirse en términos cualitativos y cuantitativos. Para quien realiza el estudio, el desafío consiste en analizar hasta qué punto las fuerzas ambientales ejercen efectos positivos y negativos en la organización. Si bien ciertos ambientes pueden hacer que sea arduo lograr un desempeño positivo, no es difícil identificar ejemplos de organizaciones que prosperaron pese a un ambiente problemático.

METODOLOGÍA DE LA EVALUACIÓN ORGANIZACIONAL

Los enfoques de la evaluación organizacional que se presentaron en los capítulos anteriores fijan un marco y un conjunto de preguntas que — con los datos, análisis y juicios adecuados — pueden llevar a una mejor comprensión de la organización y su desempeño. Pero, como está implícito en lo anterior, la elección de métodos utilizados para diseñar la evaluación, recopilar datos y seleccionar preguntas plantea una serie de cuestiones.

Básicamente, la evaluación organizacional sigue la tradición de una metodología conocida como "estudio de casos". Un estudio de caso es una forma cualitativa de evaluar, si bien utiliza datos tanto cualitativos como cuantitativos. Los estudios de casos dependen de múltiples fuentes de información para obtener conocimientos sobre la organización (Anderson, 1998). En esta tradición metodológica, se hace hincapié en entender. En otras palabras, al realizar una evaluación organizacional sobre la base del enfoque de estudio de casos, el propósito es entender el significado de una pregunta. No existe una respuesta a priori que se esté poniendo a prueba. La evaluación trata de entender las capacidades existentes y la manera en que afectan el desempeño de la organización que se estudia.

Un enfoque de estudio de casos requiere identificar las fuentes de información, los instrumentos que se han de utilizar y las maneras de recopilar información, así como de analizar la información. En las secciones siguientes se resumen estas tareas.

Fuentes de datos

En la realización de estudios de casos se acostumbra usar seis fuentes de pruebas: documentación, datos de archivo, entrevistas, visitas al terreno, observación directa y artefactos físicos. Para la mayoría de las preguntas de la evaluación organizacional, por lo general se dispone de cierto tipo de documentación, incluidos informes, datos de archivo, memorandos y estudios previos. Las entrevistas son fuentes

primordiales de datos para las evaluaciones. No solamente entrevistamos a una variedad de personas sino que tratamos de hallar informantes clave que tienen conocimientos privilegiados de lo que está sucediendo. Estas personas son cruciales para realzar la validez de las conclusiones a las que llegamos.

En las evaluaciones organizacionales con frecuencia se utilizan encuestas para recopilar datos de una gran cantidad de miembros de las organizaciones. Esto reviste importancia particular en la evaluación de la cultura organizacional y las cuestiones de proceso. Por lo general, una evaluación requiere visitas al terreno para observaciones directas, las cuales pueden ser muy útiles para comprender por qué las cosas son como lo sugieren otras fuentes de datos. Por último, no deben pasarse por alto los artefactos físicos; algunos evaluadores verifican sistemáticamente los tableros de noticias (tableros electrónicos en algunas organizaciones) para que los ayuden a comprender la cultura de la organización.

Entre las fuentes de datos comunes que podrían ser útiles para una evaluación organizacional figuran un cuadro de los hitos marcados por la compañía, es decir, fechas y acontecimientos que ayudan a comprender la organización, cambios de liderazgo, la introducción de nuevos programas y las actividades de construcción. Para la estructura organizacional, podría ser útil ubicar organigramas actuales y pasados, listas de miembros del personal, actas de reuniones, manuales de políticas, reglamentaciones y tal vez hasta un diagrama de la planta física. Las organizaciones tienen cantidades de datos y el evaluador necesita tener la experiencia para escoger las fuentes que responden mejor a las preguntas clave.

Recopilación de datos

Al igual que toda metodología, la evaluación requiere un plan de trabajo que defina lo que se realizará y cómo y cuándo se realizará. Las evaluaciones organizacionales tienden a ser un método de inmersión. Un importante aspecto de la recopilación de datos es la creación de varias bases de datos sobre estudios. Por lo general, las evaluaciones deficientes confunden los datos con la declaración de los mismos, mientras que las mejores evaluaciones mantienen un inventario separado de datos con gráficos, cuadros y números, algunos de los cuales se utilizan en el texto. Otra información se adjunta como apéndice, mientras que otros datos no se utilizan para nada.

Análisis de los datos

Las masas de datos que potencialmente están a disposición de las evaluaciones organizacionales pueden plantear problemas insuperables a menos que los evaluadores conozcan qué tipos de análisis se requieren. Nuestras evaluaciones proporcionan un sistema de clasificación o marco que facilita en forma considerable las cuestiones de análisis de datos. Por ejemplo, si se están examinando cuestiones de estructura, se separarían los datos relacionados con la dirección de la junta directiva de los datos relacionados con las operaciones. En ambos casos, se podrían explorar cuestiones como la claridad de las funciones y la autoridad.

Es en las etapas de recopilación y análisis de datos cuando surgen importantes ideas e información. Por lo general, este es un buen momento para que el equipo ponga a prueba sus posiciones y conclusiones. Es importante comprender que en un estudio de casos como el que se utiliza en los análisis organizacionales, la fase de análisis tiene lugar a medida que se recopilan los datos. Una ventaja de esta metodología es la oportunidad de poner a prueba las conclusiones en el terreno.

ALGUNAS CUESTIONES CLAVE

Conocimientos especializados

En general, las evaluaciones organizacionales son complejas y requieren una variedad de personas con diferentes conocimientos especializados para llevarlas a feliz

término. Lo ideal es que sean realizadas por un equipo con aptitudes colectivas y un líder fuerte con una clara visión de la tarea. Los mejores evaluadores son personas inteligentes, con cultura general, con experiencia diversa y sólidas aptitudes para la investigación y la evaluación, siempre que el equipo incluya el contenido necesario de conocimientos técnicos representativos del campo a que se dedica la organización en estudio. Es interesante señalar que una de las instituciones más respetadas que realiza estudios sobre salud pública, el Instituto de Medicina, no utiliza en sus equipos de evaluación investigadores expertos en el campo específico de investigación que se está evaluando (Stoto, 1997). Esto contribuye a que la perspectiva sea siempre renovada. No obstante, una sólida ventaja de un equipo es que puede capitalizar las fortalezas colectivas en lugar de depender de un individuo que siempre es una avenencia entre los diversos interesados directos.

Hay muchas fuentes de conocimientos analíticos y de evaluación y muchas opiniones en cuanto a qué tipo de conocimientos especializados tiene valor. Depende en gran medida del objetivo de la evaluación organizacional y su cliente. Las consideraciones al escoger evaluadores incluyen credibilidad, conocimientos específicos y distancia de la organización en estudio. La credibilidad es crucial y diferentes interesados directos tienen criterios de credibilidad diferentes. La mayoría de los empleados de una organización desea contar con la colaboración de respetados expertos en contenido, supuestamente porque creen que sus inquietudes profesionales no pueden ser abordadas en forma adecuada por alguien fuera de su profesión, y porque sus pares profesionales tienen la misma socialización y, más probablemente, valores similares. Probablemente tampoco comprenden las profesiones alternativas para examinadores — un científico social, economista o evaluador — ni saben lo que ellos podrían ofrecer a la tarea. Aunque exista una predilección en cuanto al contenido profesional relevante, el contenido en sí mismo no es suficiente.

Con frecuencia, el cliente de una evaluación organizacional requiere conocimientos especializados en evaluación. El experto en evaluación tiene conocimien-

tos metodológicos y es posible que sea más competente en lo técnico, por no decir más independiente y objetivo en plantear ciertas preguntas. Pero con frecuencia se sospecha de la credibilidad de esta persona debido a una falta de conocimientos específicos del contenido profesional.

¿La perspectiva de quién?
Examinadores externos e internos

En los enfoques analíticos y de evaluación, el producto es una función del punto de ventaja desde el cual se observa el problema, que es la distancia entre el examinador y la organización que se está evaluando. Los examinadores más próximos son miembros de la organización cuya participación en un equipo de evaluación organizacional puede ser una ventaja o un trastorno para las operaciones y la objetividad. Estas personas pueden ahorrar una cantidad de investigación de antecedentes presentando información ya disponible sobre la organización y sus datos existentes. La participación de los miembros de la organización con frecuencia es útil para el enfoque analítico.

Sin embargo, en las evaluaciones de rendición de cuentas, como lo descubrieron Chelimsky y North en su evaluación del Fondo Mundial para el Medio Ambiente, la participación muy poco estructurada de interesados directos internos con intereses creados lleva a conflictos sobre programas, metodologías, relaciones de trabajo y la redacción de los informes (North, 1997). Como resultado de la experiencia, North llegó a la conclusión de que es esencial contar con un coordinador de evaluación aceptable para todas las partes, relaciones claras y sin obstáculos dentro del equipo, un libreto común o un esbozo de informe para los subcomponentes, y confianza y respeto mutuo entre los evaluadores y en las relaciones de los evaluadores con los interesados directos.

Otra consideración es la necesidad de poner suficiente distancia para evitar "la fatiga de la información privilegiada" que a veces se relaciona con las personas que pasan muchos años observando una organización desde una perspectiva única. Debe tenerse presente que, por lo general, la postura de una persona enterada sobre las cuestiones es conocida, de modo que esta persona no puede ser neutral ni puede percibirse que sea objetiva en la formulación de juicios. Además, si una organización muestra señales de estar quebrantada por medio de claques y camarillas, una persona informada o enterada puede tener dificultades en lograr que personas de otros grupos confíen o, por lo menos, tendrá dificultades en dar credibili-

dad a sus contribuciones. Volviendo a las aptitudes y los conocimientos que requiere un examinador, la persona enterada necesita esto en abundancia para superar con éxito los problemas potenciales de objetividad que son el resultado de estar demasiado cerca de lo que se está evaluando.

Considerando todo esto, la cuestión central es hasta qué punto uno quiere realmente un enfoque que proporcione una evaluación organizacional independiente y

creíble que incorpore las normas éticas más elevadas. La postura purista como la de Michael Scriven (1997) sostiene que con normas éticas de esta índole, un evaluador puede ser objetivo, pero para serlo debe evitar estar demasiado cerca. Scriven sugiere que hasta procedimientos como las entrevistas con el personal reducen la distancia y ponen en riesgo la objetividad debido a que el rostro humano de la organización, que puede resultar herido si se transmite una opinión negativa, puede influir en la evaluación. Para los críticos de esta postura, que creen que no existe objetividad, él dice que el público es menos ingenuo y piensa que las entidades reguladoras que socializan con los que ellas regulan deben considerarse con sospecha, al igual que lo que piensan los jueces sobre los miembros del jurado que socializan con los abogados de la defensa (Scriven, 1997, pág. 487).

La función del jefe de la organización depende de la persona y del contexto para la evaluación. Los jefes de departamento, secretarios permanentes u otros directivos de la organización con frecuencia prefieren acertadamente mantener una cierta distancia a fin de asegurar que no parezcan ejercer demasiada influencia en el proceso. Sin embargo, cuando el proceso comprende diagnósticos más orientados al futuro o iniciativas para cambios estratégicos es preferible que participe el director de la organización.

Autoevaluación

La autoevaluación es parte de lo que se ha denominado recientemente "evaluación de empoderamiento", que se define como el uso de conceptos, técnicas y resultados de evaluaciones para fomentar el mejoramiento y la autodeterminación (Fetterman, Kaftarian y Wandersman, 1996). Este enfoque abarca una orientación de valores nada ambigua, que tiene el propósito de ayudar a las personas a ayudarse a sí mismas y mejorar sus organizaciones y programas utilizando una forma de autoevaluación y reflexión. La autoevaluación comprende preguntas sobre desarrollo organizacional y cambio y se aplica en gran medida cuando el objetivo es el desarrollo organizacional. Lograr la participación de los miembros de la organización proporciona un vínculo directo con la ejecución al proporcionarles datos y resultados de la evaluación.

Otra consideración importante es la relación costo-beneficio de tomar a las personas de sus propias áreas de especialización y hacerlas participar en algo que necesitan aprender a un costo de oportunidad para sus responsabilidades normales. Esta es una decisión política que generalmente toma el jefe de la organización,

quien considera que la evaluación sirve para fomentar el logro de las metas estratégicas de la organización. No hace falta señalar que los mejores resultados provienen de la participación de los miembros más respetados y competentes del personal, los mismos que por lo general ya están realizando las contribuciones más grandes a la organización.

¿Vale la pena el trabajo de realizar una autoevaluación organizacional? Esta es una pregunta crucial. Desde el punto de vista positivo, esta forma de práctica de reflexión puede profundizar las ideas y la información de los interesados directos en una organización: sus fortalezas y debilidades, su motivación y desempeño. Pero desde el punto de vista negativo, en los mejores tiempos lleva considerable cantidad de tiempo y energía. ¿Se puede permitir una organización hacer participar a su personal en una extravagancia de este tipo? ¿Se puede permitir no hacerlo? Más aún, ¿es un momento oportuno para agitar las emociones de los miembros del personal sobre ciertos defectos que se plantearán? ¿Están preparados la organización y su personal para actuar siguiendo la información que se revelará? Algunos dirigentes confían en su propio liderazgo y acogen nuevas ideas con beneplácito. Otros son más circunspectos. Tal vez haya otros desafíos críticos en esta coyuntura. Tal vez el personal no está de acuerdo con la administración; tal vez sea mejor dejar las cosas como están, al menos por el momento.

Realizar una autoevaluación organizacional plantea dos cuestiones importantes. La primera, ¿es el mejor medio para lograr el desarrollo organizacional? A veces puede serlo y a veces no. La organización puede necesitar una tarea común en la cual ocupar a las personas en pensar sobre la organización. En este caso, una autoevaluación puede ser una respuesta. Por otra parte, los miembros del personal de la organización no son examinadores profesionales y pueden tener habilidades tan solo rudimentarias, lo que tendrá como resultado un ejercicio costoso, imperfecto y potencialmente perjudicial.

La segunda cuestión es la validez. Debido a que el objetivo de la autoevaluación es el desarrollo organizacional, la validez puede ser una inquietud menor que en la evaluación de la rendición de cuentas. Sin embargo, con frecuencia se halla que la evaluación trata de servir a ambos fines. Por ejemplo, los donantes de la asistencia para el desarrollo que financian organizaciones necesitan rendición de cuentas, pero la organización está interesada en la autoevaluación, de modo que con frecuencia los propósitos terminan siendo combinados. Hay salvaguardias para la validez, como el uso de examinadores externos, pero no obstante es difícil combinar procesos con propósitos tan diferentes. El enfoque de la evaluación se concentra en hasta qué punto la organización está teniendo un buen desempeño, mientras

que el enfoque analítico puede estar más interesado en cómo puede mejorar. Una recomendación es utilizar una estructura de dos niveles que primero permite a la organización manejar para su propósito algunos elementos de una autoevaluación o todos ellos, y luego utiliza esto como datos para una evaluación externa (Anderson y Gilsig, 1998).

Al decidir si uno habrá de realizar una autoevaluación, es útil contar con un sentido de contexto. Hemos visto casos en que los empleados trataron de desviar una evaluación organizacional para sus propios fines. También hemos pasado por situaciones en las que los miembros del personal fueron sumamente críticos con su director, pero no se encontraban en una posición favorable para comunicar su descontento. En todos estos casos, la autoevaluación debe evitarse. Es más recomendable utilizar equipos externos que son imparciales y pueden entregar los mensajes sin que pueda seguirse el rastro de personas específicas dentro de la organización.

La única manera en que una autoevaluación puede ser realmente útil en el desarrollo organizacional es que el líder la apoye plenamente o hasta la diriga. Sin embargo, ha habido casos en que el líder adoptó la autoevaluación tan solo para estar en una situación de control del programa y del proceso. En otras palabras, el líder estaba inclinado a apoyarla como alternativa menos riesgosa que la evaluación externa. Si participan examinadores externos, esto puede funcionar, pero sigue siendo tan solo una aproximación a una evaluación organizacional válida. Arnold Love (1991, pág. 7) lo dijo muy bien cuando escribió:

El gerente es una persona que cree en las personas y los programas, es un promotor y defensor; por el contrario, el evaluador es una persona que duda, que no está comprometida con nada ni con nadie. Por último, el gerente tiene calor humano y es abierto, es un líder y parte de un equipo, mientras que el evaluador siempre está en la sombra, frío y distante, un lobo solitario separado de la manada.

Datos cualitativos y cuantitativos

Hablando en términos categóricos, los datos son cuantitativos (numéricos) o cualitativos (no numéricos). Algunos analistas y evaluadores prefieren los datos cuantitativos. Por ejemplo, los analistas son expertos en recopilar e interpretar datos financieros sobre el desempeño, es decir, datos cuantitativos fidedignos. Los indicadores del desempeño como la rentabilidad sobre la inversión pueden revelar bastante sobre una organización, pero si se los considera en forma aislada, dichos

datos pueden no captar los motivos subyacentes en el inicio del proceso que dieron lugar al resultado. Un aumento de la rentabilidad de la inversión puede ser el resultado de la disminución de activos o de beneficios a corto plazo debidos a una intervención de la administración, como tomar préstamos. Estos indicadores, si bien son sólidos, pueden tener otros problemas. En las organizaciones del gobierno y de la sociedad civil con frecuencia es difícil captar sus resultados en términos económicos solamente. Si el objetivo de una ONG es potenciar a la sociedad civil, por ejemplo, los resultados económicos pueden ser el indicador equivocado; sin embargo, con frecuencia es difícil ponerse de acuerdo en cuanto a indicadores cuantitativos adecuados.

Los datos cualitativos incorporan el juicio de un examinador en cuanto a su prominencia para la evaluación. Representan relevancia que va más allá de meras cuentas. Constituyen motivos especiales para tener una universidad o un hospital que no se reflejan en mediciones cuantificables del desempeño. Otro ejemplo es la fuerza de factores del ambiente, como el contexto político. ¿Cómo se puede juzgar el clima político y su efecto en la organización que se está estudiando? ¿O los valores culturales y el ethos y su efecto en el mercado laboral y, a la larga, en la organización? Los datos cualitativos y el análisis proporcionan información sobre estas cuestiones.

En el debate sobre los méritos relativos de los datos cuantitativos y cualitativos, la solución de compromiso parecería incorporar a ambos. Si bien promulgamos esta postura, hay riesgos, particularmente el de no lograr un equilibrio adecuado con la importancia de cada tipo de dato. Es fácil ponerse en la posición de no hacer justicia a ningún tipo de dato y de ser condenado por los que se adhieren tanto a los datos cuantitativos como a los cualitativos. El hecho es que las personas con diferentes valores y orientaciones tienen diferentes opiniones sobre los tipos de datos que sienten que son importantes.

Fuentes de datos

Las fuentes de datos comunes comprenden documentos, personas y bases de datos. Obviamente, es necesario examinar los documentos sobre la base de su autoría y con una comprensión del contexto original y el propósito para el cual fueron escritos.

Las personas plantean dificultades especiales, ya sea cuando están incluidas en la recopilación de datos normativos sujetos a análisis cuantitativos o por sus ideas

cualitativas. Dos de las cuestiones más comunes son incluir una muestra adecuada y asegurarse de que los datos recopilados sean válidos o verdaderos. El muestreo es siempre problemático. ¿Se deberá incluir a personas que fueron empleadas anteriormente así como a los empleados actuales? ¿Se ha identificado a críticos de la organización para incluirlos? En algunos enfoques, como en el análisis económico, se puede excluir totalmente a las personas, si bien posiblemente a un costo político. En realidad, muchas entidades donantes examinan sus inversiones sin contacto directo con las personas participantes excepto sobre la base de una muestra de proyecto.

Pasando a la otra cuestión, siempre es complejo comprender lo que las personas comunican y evaluar el grado de prejuicio de sus declaraciones. Pueden surgir problemas de instrumentación, en especial cuando los cuestionarios y las entrevistas se realizan en entornos multiculturales. Cuando se recopilan datos no numéricos de las personas, tal vez se necesiten revisiones, pruebas piloto y otras formas de validación para los instrumentos de recopilación de datos. Uno de los costos de la tendencia a la autoevaluación y la evaluación interna es descuidar los requisitos fundamentales de confiabilidad y validez de las técnicas de recopilación de datos, porque las personas no comprenden la importancia de ello o carecen de las aptitudes técnicas necesarias. Esto destaca lo aconsejable de definir en forma permanente y constante los indicadores y los procedimientos de recopilación de datos, en lugar de tan sólo hacerlo cuando tiene lugar una evaluación organizacional formal.

Uno de los desafíos más difíciles relacionados con las personas es saber cómo valorar los datos que son distorsionados por el interés propio, ya sea el exceso de alabanza o los comentarios negativos sin razón. Causa particular inquietud cuando faltan datos, a menos que los examinadores se tomen la molestia de investigar por qué no respondieron las personas. Las personas que se benefician de los programas de una organización tienden a ser positivas en sus evaluaciones. Puede ser que hayan escogido el programa y los comentarios negativos se reflejen en su propia elección. Si obtuvieron un beneficio financiero como un pago en apoyo al ingreso o

una beca, tienden a decir: "Muy bien, pero hubiera sido mejor más dinero." La validez también puede mejorarse mediante triangulación.

Otra cuestión sobre las personas es cuántos datos son suficientes en el entorno cargado de valores de una evaluación. Poco importa si los estadísticos concuerdan en que son suficientes 100 cuestionarios a consumidores de los servicios de una organización si el entorno político requiere oír las opiniones de 1.000. La credibilidad importa tanto como la validez estadística. Por lo tanto, si se llega a consultar a los interesados directos, es imperioso que se vea que la evaluación incluye a todos y les da voz a los interesados directos.

Otra fuente de información son las bases de datos y es necesario que comprendamos las fuentes y los procedimientos de recopilación de los datos proporcionados. Es importante verificar si los datos estadísticos están desactualizados y se puede sospechar de su confiabilidad y validez. Una vez que se obtienen los datos, es necesario asegurar que no se introduzcan nuevos errores cuando se utilizan diferentes software, o cuando se necesita transformación y combinación. Cabe señalar que la mayoría de las organizaciones tiene una gran cantidad de datos generados internamente, como los datos del sistema financiero, que pueden ser invalorables para la evaluación. Lamentablemente, muchas organizaciones no entienden totalmente el vínculo que existe entre las categorías presupuestarias y el desempeño, de modo que a veces estos datos no se encuentran en categorías que facilitan un análisis eficiente. En ciertos casos, el uso de datos generados externamente, como puntos de referencia de la industria, puede ser de valor para una evaluación organizacional. Por ejemplo, los ingresos por honorarios de consultoría o contabilidad pueden citarse en múltiplos del sueldo diario y reflejar las normas de la industria.

Validez

El principal desafío metodológico de la evaluación organizacional es la validez. La validez tiene tres cuestiones principales: (1) afirmación falsa de un resultado positivo; (2) no detectar un resultado positivo; y (3) formular las preguntas equivocadas y contaminar la evaluación con un prejuicio organizacional o personal (Dunn, 1982).

Muchos son los motivos que causan problemas con la validez. Se considera que las organizaciones hacen todo lo posible para hacer cosas buenas, de modo que los examinadores busquen aspectos específicos y no solamente realicen observaciones en general. Además, la manera en que se formulan las preguntas, las perspectivas de los niveles superiores, la manera en que se recopilan los datos y los problemas

de falta de respuesta agregan un prejuicio en contra de los informes sobre desempeño positivo. La participación de examinadores cercanos a la organización complica la cuestión de la objetividad. Las organizaciones sin fines de lucro que no tienen un resultado final dan lugar a juicios sesgados en ausencia de puntos de partida o puntos de referencia. Es demasiado fácil llegar a la conclusión de que una organización está realizando cosas buenas cuando ayuda a los pobres, o contribuye a forjar la democracia, o construye viviendas para los sin techo, pero es mucho más difícil juzgar si está realizando todo lo que podría hacer con los recursos de que dispone.

También se producen errores cuando la evaluación es limitada en tiempo y recursos, como es el caso cuando los examinadores no pueden visitar a los clientes o tener acceso a otras fuentes de datos principales. También se pueden pasar por alto resultados si por su índole son de largo plazo. Las organizaciones que tratan de efectos complejos como el desarrollo de la comunidad pueden sembrar las semillas para resultados que no tendrán lugar sino una década más tarde. En forma análoga, las organizaciones educativas que pueden dedicar años a prestar servicios educativos no pueden evaluarse totalmente hasta que sus egresados hayan tenido años de experiencia de trabajo.

Por último, se producen errores porque los examinadores pueden tener prejuicios o estar ciegos a preguntas que necesitan formularse. En ministerios, entidades y organizaciones que cuentan con fondos de donantes multilaterales, esto puede ser una cuestión central. En una evaluación del proyecto de ferrocarriles de Tanzania, se descubrió que los ferrocarriles eran en su mayor parte superfluos en la

actualidad debido al surgimiento del transporte por camiones que era más efectivo en función de los costos en una red vial mejorada. La ética profesional indica que los evaluadores están obligados a formular dichas preguntas aunque no estén incluidas en sus términos de referencia, si bien este puede no ser el caso para miembros de equipos que no son evaluadores profesionales.

Las dos maneras de contrarrestar estas limitaciones de validez comprenden el uso de puntos de referencia o comparaciones de base. Los puntos de referencia permiten a una organización compararse a sí misma con las normas de su campo de acción. Esto reviste particular utilidad cuando se comparan indicadores de desempeño, como rentabilidad de la inversión, costo de transporte por tonelada/kilómetro, margen bruto o rendimiento agrícola por hectárea. Las técnicas válidas de medición pueden llevar a acuerdos sobre los datos. La interpretación de las diferencias se convierte en la cuestión analítica, debido a que la causa de las diferencias observadas necesita ser atribuida a fuentes dentro o fuera de la organización. Las comparaciones son válidas solamente cuando los puntos de referencia se consideran aplicables, lo que con frecuencia no es el caso, ni siquiera es posible en países que pueden tener diferentes entornos de política y economía. Tal vez tampoco sea posible entre regiones geográficas que pueden tener todo tipo de condiciones diferentes. Un tipo de punto de referencia — la acreditación — se utiliza en algunos sectores sociales como los de salud y educación. Las organizaciones son acreditadas si se ajustan a ciertas normas de capacidad y, a veces, de desempeño.

Algunos consideran que los examinadores que luego de la evaluación pasan a asumir la función de facilitadores o consultores sobre desempeño entran en conflictos de intereses, ya que se puede percibir que, consciente o inconscientemente, están orientando el informe para promover sus servicios (Scriven 1997). Asimismo, los examinadores internos pueden orientar a la organización de conformidad con su futura función en ella.

Dadas todas estas inquietudes de validez, la cuestión principal para los examinadores es considerar para los intereses de quién están trabajando. ¿Es el cliente? ¿Las personas que pagan para la organización? ¿La organización? ¿Los clientes y beneficiarios de la organización? La sala del tribunal puede aplaudir lo que usted dice al presentar su caso, pero para ganar es necesario convencer al juez.

EL INFORME:
COMUNICACIÓN DE LOS RESULTADOS DEL EJERCICIO

La evaluación no está completa hasta que se comunica o informa de manera tangible, como en un informe impreso. No es que esto sea fácil, porque la palabra impresa tiene la capacidad de distorsionar la intención que se tenía al escribirla. No obstante, los informes escritos constituyen importantes hitos organizacionales y sirven como base para evaluaciones posteriores. También proporcionan un sentido de cierre del proceso y señalan que es el momento de seguir adelante guiándose por lo que se encontró. Michael Quinn Patton (1990) propugna una presentación y discusión en lugar de un informe formal, que según él es demasiado simbólico y paternalista. Pero no todos los examinadores comparten esta opinión.

La realización de informes nunca es fácil si se desea conservar la integridad y también comunicar. Siempre hay cuestiones de estilo y la necesidad de ajustarse a las expectativas del cliente. Algunas entidades y clientes quieren detalles, mientras que otras quieren brevedad. Algunas quieren apéndices extensos mientras que otras no. Hace poco participamos en la producción de un informe con lo que considerábamos que eran gráficos sumamente informativos, pero nos enteramos de que uno de nuestros clientes tenía dificultades en leer gráficos y prefería cuadros. Sin embargo, pese a estos desafíos, un informe dice lo que debe decirse y lo hace público de un modo alentador, al menos para los que pagan la evaluación organizacional.

Los informes van a públicos con frecuencia diversos. Una evaluación organizacional debe atender las necesidades del cliente y, en teoría, debe ir primero al cliente. No obstante, hay algunas ventajas en mostrar una versión preliminar a la organización, porque les da una oportunidad a quienes participan directamente de

corregir datos incompletos o incorrectos antes de que se haga pública. También comienza el proceso de suavizar el golpe que creará un informe negativo.

La mayoría de las evaluaciones producen lo que se conoce como "choque del informe". Es la reacción sumamente emocional de los directivos de una organización cuando ven por primera vez un análisis crítico que presenta a la organización de una manera que difiere en percepción de lo que se imagina. Esto no es muy diferente de una evaluación del desempeño del personal en la cual los empleados se ven a sí mismos en términos altamente positivos y luego reciben un análisis objetivo contrario respaldado con datos. Esta reacción natural necesita ser manejada o de lo contrario puede destruir la utilidad de un informe de evaluación.

Es útil permitir al jefe de la organización que examine el penúltimo borrador del informe con suficiente tiempo para reunirse de inmediato con el equipo de evaluación y examinar el informe y la manera en que está redactado. Con frecuencia, la modificación de la manera en que están redactadas algunas frases puede hacer maravillas para apoyar el análisis. La experiencia nos ha enseñado que hay que ser sumamente sensible al uso de términos negativos en el informe mismo. Palabras como "no" provocan una reacción humana comprensible de personas que han dado mucho a una organización. En la práctica, es beneficioso pedir a los colegas que examinen los resultados y conclusiones y los califiquen como positivos, negativos y neutrales. Si hay demasiados negativos es posible que sea necesario modificar la redacción para que el informe sea recibido con equidad.

Mientras que el cliente es el público que necesita ser servido, muchos informes van también a otros públicos. Ciertamente, la organización recibe el informe y, en muchos casos, realiza sus comentarios sobre él. En algunos casos, los comentarios se incorporan como un apéndice al informe. La dificultad para el autor es redactar un informe que pueda ser utilizado y comprendido por diferentes públicos. Un buen informe habla directamente a su público principal, si bien la organización debe aprender de ello también. A veces, los términos de referencia estipulan recomendaciones para los proveedores de fondos y la organización que luego son identificados en el informe.

CONCLUSIONES

Este capítulo consideró muchas de las cuestiones que preocupan a las personas interesadas en la evaluación organizacional. Sin embargo, no se abordaron algunas inquietudes. Algunas de ellas son metodológicas:

• ¿Cómo se selecciona una metodología particular de recopilación de datos?
• ¿Cómo se trata el análisis de datos cuando los datos son distorsionados, incompletos o contradictorios?
• ¿Cómo se asegura que los datos sean suficientes? ¿Cuándo se detiene uno?

Estas son inquietudes de todos los investigadores de las ciencias sociales. Tienden a ser cuestiones que requieren juicios sobre la base de la experiencia o de conocimientos específicos. Los investigadores tratan estas inquietudes haciendo lo mejor que pueden en un mundo imperfecto. No se puede esperar que los que nunca han hecho este tipo de trabajo conozcan todas las respuestas, de modo que los principiantes pueden ser ayudados enormemente por equipos de personas con más experiencia.

Otro conjunto de inquietudes se centra en las dificultades del cambio organizacional:

• ¿Cómo se supera la resistencia al proceso de evaluación?
• ¿Cómo se determina cuál de las áreas de mejoramiento organizacional es más importante?
• ¿Cómo pueden apoyar mejor el desempeño las evaluaciones organizacionales?

Estas inquietudes requieren diferentes conocimientos y experiencia en cuanto a la manera de ayudar al desarrollo organizacional. Hay arte y ciencia que los expertos en desarrollo organizacional pueden compartir. Si bien no es posible considerar esto en profundidad aquí, las preguntas son importantes y sugieren que la evaluación organizacional debe ser más que un proceso de investigación separado y pasivo. Sin una dimensión de cambio organizacional, una evaluación pierde mucho de su razón de ser.

La mejor manera de abordar las inquietudes de las personas es hacerlas participar en experiencias concretas con las organizaciones que conocen más. Con todas las limitaciones que tiene el proceso de evaluación organizacional, no obstante proporciona ideas que anteriormente no eran evidentes. Lo hace debido a su marco sistemático, que ayuda a incluir todos los aspectos importantes y debido a su filosofía de hacer participar. Las personas que trabajan en la evaluación de organizaciones, aunque sea con datos parciales e imperfectos, se beneficiarán con la comprensión de la dinámica del desempeño organizacional.

Documento(s) 8 de 13