La mayoría de los programas sociales no falla por falta de indicadores sino por indicadores que no miden resultados. Esta guía explica qué significa SMART de verdad, muestra ocho ejemplos bien y mal formulados, y conecta los indicadores con el sistema que los mantiene vivos.
Los indicadores SMART aparecen en casi todos los términos de referencia del sector social, y casi nunca en los sistemas de monitoreo reales. La sigla se cita de memoria, se pega en la propuesta y luego el programa reporta "número de talleres realizados" como si fuera un resultado. En este artículo explicamos de dónde viene el criterio, por qué los programas sociales tropiezan con él y cómo formular indicadores de producto, efecto e impacto que un evaluador externo pueda tomar en serio.
La sigla tiene autor y fecha: George T. Doran la propuso en noviembre de 1981, en un artículo de la revista Management Review titulado "There's a S.M.A.R.T. Way to Write Management's Goals and Objectives". Su formulación original era Specific, Measurable, Assignable, Realistic y Time-related: específico, medible, asignable a un responsable, realista y acotado en el tiempo. Con los años, la práctica del desarrollo la adaptó y hoy la versión más usada sustituye "asignable" por "alcanzable" (achievable) y "realista" por "relevante".
Aplicado a programas sociales, cada letra es una pregunta de control:
La versión que usamos en Innoval agrega una sexta pregunta que la sigla no trae: ¿alguien va a usar este dato para decidir algo? Un indicador que nadie consulta es costo puro.
Después de revisar marcos de resultados de programas públicos, ONG y cooperación en la región, los tres defectos que más se repiten son estos:
Nada de esto es nuevo. El manual clásico del Banco Mundial sobre sistemas de seguimiento y evaluación basados en resultados, "Ten Steps to a Results-Based Monitoring and Evaluation System" (Kusek y Rist, 2004), dedica pasos completos de su método justamente a seleccionar indicadores de resultado, levantar líneas base y fijar metas realistas. Veinte años después, esos tres pasos siguen siendo los que más se saltan las organizaciones.
El glosario del CAD de la OCDE define un indicador como el factor o variable, cuantitativa o cualitativa, que ofrece un medio simple y confiable para medir logros. La estructura práctica que recomendamos tiene cinco piezas: variable + población + magnitud esperada + plazo + fuente de verificación. Ocho ejemplos del sector social, contrastando la versión débil con la versión SMART:
Los indicadores de impacto son otra liga: miden cambios de largo plazo atribuibles al programa, como la variación del ingreso laboral de las personas egresadas estimada contra un grupo de comparación. Exigen diseños de evaluación de impacto, no solo monitoreo, y por eso se definen desde el inicio pero se miden pocas veces y bien.
Antes de aprobar cualquier indicador, tres preguntas de bolsillo: ¿el dato existe o hay que producirlo?, ¿quién lo recoge y cada cuánto?, ¿cuánto cuesta recogerlo? Si nadie puede responder las tres, el indicador todavía no existe: es una aspiración con formato técnico.
"Cualitativo" no significa inmedible. Significa que el instrumento es distinto:
La propia práctica internacional valida esta vía: de los seis criterios de evaluación del CAD de la OCDE, varios (pertinencia y coherencia, por ejemplo) se valoran con juicios cualitativos estructurados, no con conteos. El rigor está en el protocolo, no en que el dato nazca numérico.
Un indicador bien formulado y huérfano de sistema muere en seis meses. Los indicadores viven dentro de un sistema MEL (monitoreo, evaluación y aprendizaje) que define quién recoge cada dato, con qué instrumento, con qué frecuencia, dónde se almacena y, sobre todo, en qué reunión de decisión se usa. No por casualidad el manual de Kusek y Rist dedica su último paso a sostener el sistema dentro de la organización: la mortalidad de los sistemas de monitoreo es alta y casi siempre muere primero el uso, no la recolección.
Si quiere saber dónde está parada su organización, nuestro diagnóstico de preparación MEAL revisa indicadores, fuentes y capacidades en un solo ejercicio. Y si el objetivo es que su equipo domine la formulación de indicadores y marcos de resultados, ese es el corazón de nuestra especialización en Gestión para Resultados, dentro de la oferta de formación de Innoval.
El estándar que aplicamos en cada proyecto: un indicador sin responsable, sin frecuencia y sin uso previsto no entra al marco de resultados. Es preferible un tablero corto que decide a un inventario largo que decora.
¿Cuántos indicadores necesita un programa social?
Menos de los que suele tener. Como referencia práctica: uno o dos por resultado del marco de resultados, con responsable, fuente y frecuencia definidos. Cada indicador cuesta dinero recolectarlo y analizarlo; una batería de cuarenta indicadores que nadie usa es peor que una de doce que alimenta decisiones.
¿Un indicador cualitativo puede ser SMART?
Sí. La condición es definir el instrumento y el umbral: una rúbrica con niveles descritos, una escala aplicada con protocolo o una observación estructurada. "Porcentaje de centros que alcanza el nivel satisfactorio en la rúbrica de calidad de atención, aplicada dos veces al año por observadores capacitados" es cualitativo en su origen y SMART en su formulación.
¿Qué diferencia hay entre un indicador de producto y uno de efecto?
El de producto cuenta lo que el programa entrega y está bajo su control directo: talleres, certificaciones, visitas. El de efecto mide cambios en la población atendida: aprendizajes, empleo, prácticas de crianza, uso de servicios financieros. Si el número puede subir solo porque el equipo trabajó más, es producto; si exige que alguien más cambie, es efecto.
¿Cómo se fija una meta bien fundamentada?
Con tres insumos: la línea base (el valor de partida), la evidencia de programas comparables (cuánto lograron intervenciones similares) y la capacidad operativa real del equipo. Una meta sin línea base es una apuesta; una meta copiada de otro país sin ajustar contexto es una promesa incumplible.
En la especialización en Gestión para Resultados de Innoval, los equipos salen con su propio marco de resultados corregido, no con diapositivas. Formamos a quienes tienen que medir de verdad.