7.2.
Para resultar efectivos, los sistemas de MyE necesitan estar organizados de manera tal de asegurar tanto la relevancia como la credibilidad de la información que producen. Una de las mejores formas de asegurar la relevancia de las evaluaciones y las mediciones de desempeño que desarrollan los sistemas es involucrando a los principales destinatarios de la información en la definición de qué políticas, programas o aspectos de la gestión evaluar (Mokate, 2000). Por otro lado, para obtener un nivel aceptable de credibilidad, resulta aconsejable mantener un relativo grado de independencia entre quienes controlan o administran el desarrollo de las evaluaciones y los actores que se encuentran más directamente asociados a las actividades y los programas evaluados. Esta segunda condición es especialmente importante cuando los principales destinatarios de la información son externos a la política, programa o agencia evaluada. Cuando los hallazgos de MyE están principalmente destinados a los agentes responsables de los mismos procesos que se están evaluando, es más importante asegurar un alto nivel de participación y receptividad de su parte que garantizar la credibilidad externa de la información (Ala-Harja y Helgason, 1999).
Uno de los mayores desafíos que enfrentan los diseñadores de sistemas de MyE es el hecho de que estos sistemas suelen crearse con el objetivo de abordar las necesidades de información de distintos actores. Y, como se mencionó recién, las condiciones necesarias para asegurar la relevancia y la credibilidad de la información tienden a ser relativamente específicas para cada tipo de destinatario. Por ejemplo, cuando las actividades de MyE de un sistema tienen por objeto atender tanto las necesidades de información de determinados ministerios sectoriales o agencias como las de uno o más ministerios centrales, existen por lo menos dos alternativas. Por un lado, el control de los procesos de MyE puede dejarse en manos de un ministerio central, en cuyo caso la credibilidad de la información podría verse relativamente asegurada para todas las partes interesadas. Sin embargo, esta opción podría terminar conspirando contra la relevancia, la utilidad y la aceptabilidad de la misma para las agencias y los ministerios sectoriales directamente afectados. Por otro lado, cuanto mayor sea el nivel de control que los ministerios o agencias cuyas actividades o programas están siendo evaluados ejercen sobre los procesos de evaluación, más probable será que la información generada les resulte relevante. Sin embargo, su condición de “juez y parte” en el proceso de evaluación puede terminar dañando la credibilidad externa de los hallazgos del MyE. En pocas palabras, existe una tensión latente entre las condiciones necesarias para asegurar niveles adecuados de relevancia y credibilidad de la información para las distintas partes interesadas en los procesos de MyE (Zaltsman, 2006). En general, existen distintas formas de conciliar estos requerimientos potencialmente conflictivos. Pero, generalmente, implican priorizar en cierta medida a algunos de ellos por sobre los otros.
Las mayores diferencias que se observan entre los sistemas de M&E, giran en torno al nivel de protagonismo y control que les otorgan a sus unidades coordinadoras y a las instituciones y los programas evaluados en la definición de los indicadores y metas. Por un lado, algunos sistemas parecen estar más preocupados por asegurar la estandarización y la imparcialidad del proceso y, por lo tanto, le asignan a la unidad coordinadora un rol mucho más decisivo en este sentido. El SCG de Chile representa un buen ejemplo, ya que es probablemente el sistema donde la relación entre la unidad coordinadora y las agencias evaluadas sigue un enfoque más “vertical”. Más específicamente, además de definir la agenda general de monitoreo del desempeño, la unidad coordinadora del sistema ejerce un grado de control mucho más marcado sobre todo el proceso que en otros sistemas de MyE. Por contraste, otros sistemas parecen priorizar la intención de asegurar un buen grado de receptividad y “apropiación” de los hallazgos del monitoreo por parte de las autoridades de las instituciones y los programas evaluados, por sobre los requerimientos asociados con la credibilidad externa. En consecuencia, les proporcionan a dichos funcionarios un nivel mayor de participación en esta parte del proceso.
7.2.1 Actividades de Evaluación de los Sistemas
Los sistemas de M&E que cuentan con componentes de evaluación de programas realizan evaluaciones de distintos tipos: evaluaciones ex-ante (por ejemplo, análisis de costo-beneficio y de costo-efectividad), evaluaciones “de escritorio”, evaluaciones de implementación y evaluaciones de impacto. Las evaluaciones de impacto que realizan los sistemas se basan generalmente en diseños cuasi-experimentales y en sofisticadas técnicas de análisis estadístico. De acuerdo con sus propias estimaciones, el SCG ha evaluado aproximadamente el 61 por ciento de lo que define como “gasto evaluable”.
7.2.2. Coordinación entre las Actividades de M&E
Un último aspecto importante a considerar se refiere al grado de coordinación existente entre las diversas actividades de M&E que desarrolla cada sistema. En este sentido, el SCG parece ser el sistema que está abordando este tema del modo más efectivo. Sus diversos componentes (Indicadores de Desempeño, esquema de monitoreo del Programa de Mejoramiento de Gestión, las Evaluaciones de Programas Gubernamentales, las de Impacto y las Comprehensivas del Gasto, y las evaluaciones ex-ante que se realizan a través de los “Formatos Estándar”) han sido concebidos con la intención explícita de abordar necesidades de información distintas y de complementarse entre sí. Además, las mediciones del desempeño de las agencias que la DIPRES realiza a través de sus mecanismos de monitoreo y sus evaluaciones “de escritorio” son también tomadas en cuenta a la hora de decidir qué programas o instituciones evaluar en profundidad. La evidencia disponible parece sugerir que los distintos componentes del SCG están funcionando de manera cada vez más complementaria.
Las mayores diferencias que se observan entre los sistemas de M&E, giran en torno al nivel de protagonismo y control que les otorgan a sus unidades coordinadoras y a las instituciones y los programas evaluados en la definición de los indicadores y metas. Por un lado, algunos sistemas parecen estar más preocupados por asegurar la estandarización y la imparcialidad del proceso y por lo tanto, le asignan a la unidad coordinadora un rol mucho más decisivo en este sentido. El SCG de Chile representa un buen ejemplo, ya que es probablemente el sistema donde la relación entre la unidad coordinadora y las agencias evaluadas sigue un enfoque más “vertical”. Más específicamente, además de definir la agenda general de monitoreo del desempeño, la unidad coordinadora del sistema ejerce un grado de control mucho más marcado sobre todo el proceso que muchos de los sistemas de M&E aplicados. Por contraste, otros sistemas parecen priorizar la intención de asegurar un buen grado de receptividad y “apropiación” de los hallazgos del monitoreo por parte de las autoridades de las instituciones y los programas evaluados, por sobre los requerimientos asociados con la credibilidad externa. En consecuencia, les proporcionan a dichos funcionarios un nivel mayor de participación en esta parte del proceso.
La información disponible sobre el grado de utilización y la receptividad que encuentran los hallazgos del monitoreo en las distintas instituciones es más bien escasa y, por lo general, meramente anecdótica. Sin embargo, vale la pena hacer notar que el sistema donde el uso de esta información se encuentra más claramente documentado es el SCG de Chile – es decir, el sistema en el que la relación entre la unidad coordinadora y las instituciones evaluadas presenta el mayor grado de “verticalidad”.
Al parecer, el mayor obstáculo para la asimilación y el eventual uso de los hallazgos de monitoreo por parte de las instituciones y los programas evaluados radica en la falta de compromiso e involucramiento por parte de sus autoridades. En términos generales, resulta común que todas las actividades asociadas con el proceso de monitoreo se encuentren concentradas en la unidad organizacional que actúa como nexo entre la institución evaluada y la unidad coordinadora del sistema. Consecuentemente, el nivel de difusión que las metas y las evaluaciones de desempeño tienen dentro de los programas y las instituciones suele ser extremadamente bajo. Esto parece ser así independientemente de si la unidad institucional que actúa como contraparte del sistema dentro de la agencia o el programa evaluado fue creada específicamente para cumplir con esta función o existía desde antes y se ocupa a la vez de otras funciones (por ejemplo: planificación, elaboración del presupuesto, etc.).
7.2.3. Credibilidad e Imparcialidad de los Sistemas
Para asegurar la credibilidad de la información que producen, se considera generalmente necesario asegurar que las actividades de los sistemas de M&E se desarrollen con cierto grado de independencia respecto de las agencias y los programas que evalúan. Esto es particularmente importante cuando los destinatarios de esta información son externos a la agencia, política, o programa a evaluar. Sin embargo, cuando los hallazgos de M&E están principalmente destinados a los agentes responsables por las actividades evaluadas, garantizar un alto nivel de participación y receptividad de su parte cobra prioridad por sobre la necesidad de garantizar la credibilidad externa de la información.
7.2.4. Presentación de la Información y Estrategias de Difusión
La mera existencia y disponibilidad de información de M&E no garantiza que sus destinatarios la utilicen. Los sistemas considerados en este documento han tratado de facilitar y fomentar su uso de distintas maneras. Un enfoque consiste en adecuar el formato y el contenido de los informes de M&E a las necesidades específicas de cada tipo de usuario. Esto incluye la preparación de diferentes tipos de informes para diferentes públicos. Algunos de estos informes se centran en cada una de las agencias o los programas evaluados de manera individualizada, mientras que otros presentan la información en un solo documento con un nivel de detalle mucho menor. Otros aspectos de los informes de M&E que suelen ajustarse al tipo de destinatario son: la frecuencia con la que son emitidos, la complejidad del lenguaje con el que se redactan, y el formato. Es igualmente importante que las principales partes interesadas tengan conocimiento de la disponibilidad de esta información y puedan acceder a la misma con facilidad. Por ejemplo, en muchas agencias hay una falta de conocimiento generalizada de las metas y las evaluaciones de desempeño de la organización. Esto aparenta ser generalmente el resultado de fallas en la comunicación interna. Ocurre comúnmente, que este problema se vea agudizado por la concentración de todas las funciones relacionadas con el M&E en una sola unidad organizativa con poca llegada a las autoridades de la agencia.
A fin de que los sistemas de M&E sirvan como un instrumento público de transparencia y rendición de cuentas, es importante que la información que producen tenga alta visibilidad pública y sea fácil de acceder. Los sistemas de M&E considerados en este documento utilizan el Internet como uno de sus canales de difusión primarios, pero deben aún refinarse los mecanismos que permitan el uso efectivo de la información disponible en el público en general y como proceso de seguimiento efectivo y permanente de los procesos por parte de los funcionarios.
Para resultar efectivos, los sistemas de MyE necesitan estar organizados de manera tal de asegurar tanto la relevancia como la credibilidad de la información que producen. Una de las mejores formas de asegurar la relevancia de las evaluaciones y las mediciones de desempeño que desarrollan los sistemas es involucrando a los principales destinatarios de la información en la definición de qué políticas, programas o aspectos de la gestión evaluar (Mokate, 2000). Por otro lado, para obtener un nivel aceptable de credibilidad, resulta aconsejable mantener un relativo grado de independencia entre quienes controlan o administran el desarrollo de las evaluaciones y los actores que se encuentran más directamente asociados a las actividades y los programas evaluados. Esta segunda condición es especialmente importante cuando los principales destinatarios de la información son externos a la política, programa o agencia evaluada. Cuando los hallazgos de MyE están principalmente destinados a los agentes responsables de los mismos procesos que se están evaluando, es más importante asegurar un alto nivel de participación y receptividad de su parte que garantizar la credibilidad externa de la información (Ala-Harja y Helgason, 1999).
Uno de los mayores desafíos que enfrentan los diseñadores de sistemas de MyE es el hecho de que estos sistemas suelen crearse con el objetivo de abordar las necesidades de información de distintos actores. Y, como se mencionó recién, las condiciones necesarias para asegurar la relevancia y la credibilidad de la información tienden a ser relativamente específicas para cada tipo de destinatario. Por ejemplo, cuando las actividades de MyE de un sistema tienen por objeto atender tanto las necesidades de información de determinados ministerios sectoriales o agencias como las de uno o más ministerios centrales, existen por lo menos dos alternativas. Por un lado, el control de los procesos de MyE puede dejarse en manos de un ministerio central, en cuyo caso la credibilidad de la información podría verse relativamente asegurada para todas las partes interesadas. Sin embargo, esta opción podría terminar conspirando contra la relevancia, la utilidad y la aceptabilidad de la misma para las agencias y los ministerios sectoriales directamente afectados. Por otro lado, cuanto mayor sea el nivel de control que los ministerios o agencias cuyas actividades o programas están siendo evaluados ejercen sobre los procesos de evaluación, más probable será que la información generada les resulte relevante. Sin embargo, su condición de “juez y parte” en el proceso de evaluación puede terminar dañando la credibilidad externa de los hallazgos del MyE. En pocas palabras, existe una tensión latente entre las condiciones necesarias para asegurar niveles adecuados de relevancia y credibilidad de la información para las distintas partes interesadas en los procesos de MyE (Zaltsman, 2006). En general, existen distintas formas de conciliar estos requerimientos potencialmente conflictivos. Pero, generalmente, implican priorizar en cierta medida a algunos de ellos por sobre los otros.
Las mayores diferencias que se observan entre los sistemas de M&E, giran en torno al nivel de protagonismo y control que les otorgan a sus unidades coordinadoras y a las instituciones y los programas evaluados en la definición de los indicadores y metas. Por un lado, algunos sistemas parecen estar más preocupados por asegurar la estandarización y la imparcialidad del proceso y, por lo tanto, le asignan a la unidad coordinadora un rol mucho más decisivo en este sentido. El SCG de Chile representa un buen ejemplo, ya que es probablemente el sistema donde la relación entre la unidad coordinadora y las agencias evaluadas sigue un enfoque más “vertical”. Más específicamente, además de definir la agenda general de monitoreo del desempeño, la unidad coordinadora del sistema ejerce un grado de control mucho más marcado sobre todo el proceso que en otros sistemas de MyE. Por contraste, otros sistemas parecen priorizar la intención de asegurar un buen grado de receptividad y “apropiación” de los hallazgos del monitoreo por parte de las autoridades de las instituciones y los programas evaluados, por sobre los requerimientos asociados con la credibilidad externa. En consecuencia, les proporcionan a dichos funcionarios un nivel mayor de participación en esta parte del proceso.
7.2.1 Actividades de Evaluación de los Sistemas
Los sistemas de M&E que cuentan con componentes de evaluación de programas realizan evaluaciones de distintos tipos: evaluaciones ex-ante (por ejemplo, análisis de costo-beneficio y de costo-efectividad), evaluaciones “de escritorio”, evaluaciones de implementación y evaluaciones de impacto. Las evaluaciones de impacto que realizan los sistemas se basan generalmente en diseños cuasi-experimentales y en sofisticadas técnicas de análisis estadístico. De acuerdo con sus propias estimaciones, el SCG ha evaluado aproximadamente el 61 por ciento de lo que define como “gasto evaluable”.
7.2.2. Coordinación entre las Actividades de M&E
Un último aspecto importante a considerar se refiere al grado de coordinación existente entre las diversas actividades de M&E que desarrolla cada sistema. En este sentido, el SCG parece ser el sistema que está abordando este tema del modo más efectivo. Sus diversos componentes (Indicadores de Desempeño, esquema de monitoreo del Programa de Mejoramiento de Gestión, las Evaluaciones de Programas Gubernamentales, las de Impacto y las Comprehensivas del Gasto, y las evaluaciones ex-ante que se realizan a través de los “Formatos Estándar”) han sido concebidos con la intención explícita de abordar necesidades de información distintas y de complementarse entre sí. Además, las mediciones del desempeño de las agencias que la DIPRES realiza a través de sus mecanismos de monitoreo y sus evaluaciones “de escritorio” son también tomadas en cuenta a la hora de decidir qué programas o instituciones evaluar en profundidad. La evidencia disponible parece sugerir que los distintos componentes del SCG están funcionando de manera cada vez más complementaria.
Las mayores diferencias que se observan entre los sistemas de M&E, giran en torno al nivel de protagonismo y control que les otorgan a sus unidades coordinadoras y a las instituciones y los programas evaluados en la definición de los indicadores y metas. Por un lado, algunos sistemas parecen estar más preocupados por asegurar la estandarización y la imparcialidad del proceso y por lo tanto, le asignan a la unidad coordinadora un rol mucho más decisivo en este sentido. El SCG de Chile representa un buen ejemplo, ya que es probablemente el sistema donde la relación entre la unidad coordinadora y las agencias evaluadas sigue un enfoque más “vertical”. Más específicamente, además de definir la agenda general de monitoreo del desempeño, la unidad coordinadora del sistema ejerce un grado de control mucho más marcado sobre todo el proceso que muchos de los sistemas de M&E aplicados. Por contraste, otros sistemas parecen priorizar la intención de asegurar un buen grado de receptividad y “apropiación” de los hallazgos del monitoreo por parte de las autoridades de las instituciones y los programas evaluados, por sobre los requerimientos asociados con la credibilidad externa. En consecuencia, les proporcionan a dichos funcionarios un nivel mayor de participación en esta parte del proceso.
La información disponible sobre el grado de utilización y la receptividad que encuentran los hallazgos del monitoreo en las distintas instituciones es más bien escasa y, por lo general, meramente anecdótica. Sin embargo, vale la pena hacer notar que el sistema donde el uso de esta información se encuentra más claramente documentado es el SCG de Chile – es decir, el sistema en el que la relación entre la unidad coordinadora y las instituciones evaluadas presenta el mayor grado de “verticalidad”.
Al parecer, el mayor obstáculo para la asimilación y el eventual uso de los hallazgos de monitoreo por parte de las instituciones y los programas evaluados radica en la falta de compromiso e involucramiento por parte de sus autoridades. En términos generales, resulta común que todas las actividades asociadas con el proceso de monitoreo se encuentren concentradas en la unidad organizacional que actúa como nexo entre la institución evaluada y la unidad coordinadora del sistema. Consecuentemente, el nivel de difusión que las metas y las evaluaciones de desempeño tienen dentro de los programas y las instituciones suele ser extremadamente bajo. Esto parece ser así independientemente de si la unidad institucional que actúa como contraparte del sistema dentro de la agencia o el programa evaluado fue creada específicamente para cumplir con esta función o existía desde antes y se ocupa a la vez de otras funciones (por ejemplo: planificación, elaboración del presupuesto, etc.).
7.2.3. Credibilidad e Imparcialidad de los Sistemas
Para asegurar la credibilidad de la información que producen, se considera generalmente necesario asegurar que las actividades de los sistemas de M&E se desarrollen con cierto grado de independencia respecto de las agencias y los programas que evalúan. Esto es particularmente importante cuando los destinatarios de esta información son externos a la agencia, política, o programa a evaluar. Sin embargo, cuando los hallazgos de M&E están principalmente destinados a los agentes responsables por las actividades evaluadas, garantizar un alto nivel de participación y receptividad de su parte cobra prioridad por sobre la necesidad de garantizar la credibilidad externa de la información.
7.2.4. Presentación de la Información y Estrategias de Difusión
La mera existencia y disponibilidad de información de M&E no garantiza que sus destinatarios la utilicen. Los sistemas considerados en este documento han tratado de facilitar y fomentar su uso de distintas maneras. Un enfoque consiste en adecuar el formato y el contenido de los informes de M&E a las necesidades específicas de cada tipo de usuario. Esto incluye la preparación de diferentes tipos de informes para diferentes públicos. Algunos de estos informes se centran en cada una de las agencias o los programas evaluados de manera individualizada, mientras que otros presentan la información en un solo documento con un nivel de detalle mucho menor. Otros aspectos de los informes de M&E que suelen ajustarse al tipo de destinatario son: la frecuencia con la que son emitidos, la complejidad del lenguaje con el que se redactan, y el formato. Es igualmente importante que las principales partes interesadas tengan conocimiento de la disponibilidad de esta información y puedan acceder a la misma con facilidad. Por ejemplo, en muchas agencias hay una falta de conocimiento generalizada de las metas y las evaluaciones de desempeño de la organización. Esto aparenta ser generalmente el resultado de fallas en la comunicación interna. Ocurre comúnmente, que este problema se vea agudizado por la concentración de todas las funciones relacionadas con el M&E en una sola unidad organizativa con poca llegada a las autoridades de la agencia.
A fin de que los sistemas de M&E sirvan como un instrumento público de transparencia y rendición de cuentas, es importante que la información que producen tenga alta visibilidad pública y sea fácil de acceder. Los sistemas de M&E considerados en este documento utilizan el Internet como uno de sus canales de difusión primarios, pero deben aún refinarse los mecanismos que permitan el uso efectivo de la información disponible en el público en general y como proceso de seguimiento efectivo y permanente de los procesos por parte de los funcionarios.
No hay comentarios:
Publicar un comentario