Nadie hizo trampa con el número. Lo obedecieron a la perfección. Ese fue el desastre.
Mi hija quedó embarazada este año, lo que en la Caja (la seguridad social costarricense) significa que tiene prioridad para atención dental. Buena política. Embarazo e infección dental sin tratar son una mala combinación, y el sistema hace bien en mover a las futuras madres al frente de la fila.
Así que fue. En marzo, a una clínica de la CCSS en Pérez Zeledón. Tiene ocho caries, del tipo pequeño y ordinario. Un dentista con una tarde libre las resolvería todas de una sentada. En vez de eso le dieron diez citas: una por cada caries, más la revisión y la limpieza aparte. Diez viajes separados, diez espacios separados, cada uno exigiendo que su patrono le diera permiso aparte para salir del trabajo, cada uno consumiendo una mañana que una mujer embarazada preferiría pasar haciendo casi cualquier otra cosa.
Ningún dentista de esa clínica es vago ni deshonesto. Las caries son reales. Cada cita trata algo que de verdad necesita tratarse. Nadie está inflando un número con trabajo falso. Y aun así el resultado es absurdo: un plan de tratamiento optimizado para la ineficiencia, diez visitas donde una o dos bastarían, porque lo que el sistema mide son citas atendidas. No caries resueltas, no bocas sanas, no horas de paciente ahorradas. Citas. Así que citas es lo que el sistema produce, en abundancia, a través de la única respuesta racional disponible para las personas que están adentro.
Ahora contá lo que esas ocho visitas extra le cuestan a la institución que puso la métrica. La fresa es la parte corta de una cita. Alrededor está el espacio en un calendario, el expediente que se saca y se archiva, el consultorio que se voltea, los instrumentos que se esterilizan, los desechables que se abren y se botan: guantes, aguja, babero, brocas. Hacelo una vez y pagaste un montaje. Hacelo diez y pagaste diez para entregar la odontología de dos. Después multiplicá eso por un sistema público entero y la aritmética se pone fea en la dirección que más duele, que es la cola. Cada plan de tratamiento fragmentado se come espacios que otros pacientes estaban esperando.
El número subió. La capacidad real de la institución para atender gente bajó, y bajó por causa del número.
Obedecer la métrica, no doblarla
Eso es un incentivo perverso, y es un animal distinto del que vimos en el post anterior. Los dos se confunden todo el tiempo. “Pero esto es Goodhart otra vez.” No. Parece Goodhart, pero no lo es: en Goodhart el instrumento miente; acá el instrumento dice la pura verdad (las diez citas ocurrieron, el conteo es exacto) y la que sangra es la meta. Así que voy a poner la distinción donde se pueda ver, admitiendo de entrada que esta es mía. Casi todo lo que se escribe sobre el tema usa los dos nombres como intercambiables: casos de Goodhart archivados como incentivos perversos, e incentivos perversos archivados como Goodhart, hasta que las palabras dejan de hacer trabajo separado. Yo creo que la línea es fina y que vale la pena conservarla.
Goodhart es sobre el instrumento. Una métrica sana recibe una recompensa amarrada y deja de representar la realidad. La tasa de ocupación ya no te dice qué está haciendo el hotel. Si alguien actuó de mala fe es una pregunta aparte, y casi siempre indecidible.
El incentivo perverso es sobre la meta. Acá el instrumento sigue funcionando a la perfección. Las diez citas de verdad ocurrieron, y el conteo es exacto. Nada en la medición se corrió un milímetro de la verdad. Lo que la recompensa dañó fue aquello que la medición estaba representando. Y lo dañó de la manera que más importa: se volvió contra la propia institución que montó el incentivo. El servicio de salud pagó ocho montajes extra y alargó su propia lista de espera para calificar mejor en su propio número.
Una métrica de vanidad, un par de posts atrás, no hace ninguna de las dos. No corrompe ningún instrumento y no daña ninguna meta. Nunca apuntó a nada que importara, y cuelga de la pared siendo admirada.
Por eso esta no tiene a quién culpar. Los dentistas no están manipulando nada. Están obedeciendo la métrica, de perfecta buena fe, haciendo trabajo real y necesario todo el tiempo. El sistema pidió citas, y profesionales concienzudos entregaron citas. El daño no está en el carácter de nadie. Está construido dentro del incentivo mismo, y pasaría igual con un equipo de santos.
Steven Kerr lo nombró en 1975, en un paper de gestión cuyo título lo dice todo: “On the Folly of Rewarding A, While Hoping for B.” Esperás B: pacientes sanos, tratados con eficiencia. Recompensás A: volumen de citas. Y después te sorprendés cuando recibís una montaña de A y muy poco B. La versión folclórica es el efecto cobra: la historia tantas veces contada de un gobierno colonial que puso recompensa por cada cobra para reducir la población, y se encontró con una entusiasta industria local criando cobras por el premio. La recompensa funcionó exactamente como fue diseñada. Solo que no fue diseñada para hacer lo que alguien de verdad quería.
No necesitás a nadie haciendo trampa. Necesitás una medida apuntando a la cosa equivocada y un salón lleno de gente razonable haciendo su mejor esfuerzo honesto por moverla.
Castiga al concienzudo
Acá está la firma de un incentivo perverso, la señal que lo distingue de la manipulación ordinaria: castiga a la gente que hace lo correcto.
Un dentista que hubiera agrupado las caries de mi hija en dos visitas eficientes (la opción que de verdad sirve al objetivo) habría reportado números de citas más bajos que el que las estiró a lo largo de diez. En el dashboard, el dentista concienzudo se ve peor. La métrica no solo falla en recompensar la buena práctica. La penaliza activamente. Mientras mejor servís al objetivo real, peor calificás en el proxy.
El mismo mecanismo, con la misma crueldad, me lo encontré una vez sin andar buscándolo. No fui a ese proyecto a auditar ninguna métrica. Fui a modelar el sistema nuevo de registro de tierras de República Dominicana (el que se iba a alimentar de lo que este equipo estaba capturando) y, como yo era el “experto de SQL”, me pidieron de paso ayudar con un problema de desempeño en el servidor. El incentivo perverso apareció ahí, con las manos metidas en el motor por otra razón.
Treinta digitadores por turno, en dos turnos, trabajaban sobre imágenes escaneadas de viejos libros de títulos, extrayendo la sustancia legal de cada registro: compradores, vendedores, acreedores. El control de calidad del dato era serio: cada registro lo capturaban dos digitadores a ciegas, sin verse; si coincidían, pasaba; si no, entraba un tercero a desempatar, y cada lote de 2000 se muestreaba y tenía que confirmarse al 98%. La calidad del dato estaba bien amarrada. La productividad, no: al digitador se le medía por volumen de registros evaluados, y los registros variaban enormemente. Algunos venían densos de información que costaba esfuerzo real transcribir bien. Muchos traían anotaciones menores. Algunos estaban en blanco.
Quedate con lo que ese incentivo provoca. Un digitador al que le tocaba un registro denso (justo el que todo el proyecto existía para capturar) hacía diez minutos de transcripción cuidadosa y propensa a errores por una unidad de “registro evaluado”. Uno al que le tocaba una página en blanco daba dos clics, la marcaba vacía, y registraba la misma unidad en cinco segundos. El mismo crédito, una fracción del trabajo, y nada del valor para el que el proyecto realmente existía.
Pero la parte que no vi venir estaba en el servidor. El caso siguiente se lo asignaba a cada agente una vista de SQL: una consulta pesada, lenta y (esto es lo que importa) no determinística. Cada vez que se ejecutaba devolvía un registro distinto en el primer lugar. Haciendo el troubleshooting encontré por qué sufría la máquina: un solo agente disparaba esa vista veinte o veinticinco veces por minuto. No estaba trabajando veinte registros por minuto. Estaba re-tirando los dados: ejecutá, mirá si el caso es fácil, si no, ejecutá otra vez, hasta que salía uno en blanco o casi. La vista era su tragamonedas.
Nadie había hackeado nada. Apretaban un botón que el sistema les daba, hasta que el sistema les daba algo fácil. Me senté con el director del equipo y el programador a mirar los resultados, y ahí estaba la parte cruel: los agentes que más consumían la vista, los que más la re-tiraban, eran exactamente los que el tablero coronaba como top performers. El dashboard premiaba, con nombre y apellido, a los que menos trabajo real hacían. Los digitadores diligentes, los que trabajaban con cuidado los registros difíciles, reportaban los peores números. La métrica recompensaba el trabajo superficial y castigaba justo la captura cuidadosa que más importaba.
Donde el incentivo perverso también rompe el instrumento
Ese caso de los registros vale una segunda mirada, porque muestra la frontera entre el incentivo perverso y el Goodhart que lo precede.
El incentivo era perverso por diseño: medir registros mientras se ignoraba la dificultad hacía del trabajo superficial la estrategia racional antes de que nadie hiciera nada astuto. Un digitador que simplemente tomara los casos como venían y por casualidad le tocaran fáciles habría calificado bien sin un solo acto deshonesto. Ese es el incentivo perverso puro, y daña al objetivo por sí solo.
Pero después algunos digitadores empezaron a re-ejecutar la vista para pescar casos fáciles. Fijate lo que eso le hace al instrumento. Hasta ahí, “registros evaluados” era un conteo honesto que simplemente no ponderaba dificultad. Desde el momento en que los digitadores re-tiran la asignación hasta que sale un caso fácil, el conteo deja de representar cobertura del archivo: mide qué tan bien alguien sabe re-tirar los dados. La meta ya estaba siendo dañada; ahora el número también dejó de reportar la realidad. Ese es el paso que cruza la línea hacia el territorio de Goodhart que mapeamos la vez pasada. Así es como suele ir. Los incentivos perversos son la rampa de entrada. Apuntás una métrica a la cosa equivocada, la gente buena responde racionalmente, y los más conscientes de la métrica eventualmente notan que la respuesta racional se puede afilar hasta volverla deliberada. Nadie empieza haciendo trampa. Empiezan obedeciendo, y la obediencia les enseña dónde están las costuras.
Mediste la actividad, no el objetivo
Pelá estos casos hasta el hueso y son el mismo error. Alguien midió la actividad en vez del resultado, porque la actividad es fácil de contar y el resultado es difícil.
Las citas son triviales de contar. La salud dental restaurada en una población es difícil de medir. Así que el sistema cuenta citas y deja calladamente que sustituyan a la salud. Los registros son triviales de contar. El conocimiento capturado con fidelidad de un archivo que se desmorona es difícil de medir. Así que el proyecto cuenta registros y deja que sustituyan al conocimiento. La duración de una llamada es trivial de contar; si el problema del cliente de verdad se resolvió, no lo es. Así que un call center mide el tiempo promedio de atención y deja que la velocidad sustituya a la resolución. Y el agente que trabaja con paciencia una llamada difícil hasta el final reporta peores números que el que despacha al cliente de la línea. El concienzudo se ve lento. Peor, la llamada apurada a menudo vuelve como segunda llamada, así que la misma métrica que debía domar la carga de trabajo calladamente la multiplica. En cada caso el proxy fácil hizo más que fallar en capturar el objetivo: jaló la conducta directamente en sentido contrario, porque el proxy y el objetivo apuntaban en direcciones distintas y el proxy era el que tenía la recompensa atada.
Donald Campbell puso la advertencia casi como una ley: mientras más se usa un indicador cuantitativo para tomar decisiones, más distorsionará y corromperá el mismo proceso que debía monitorear. No “podría”. Lo hará. La presión de la recompensa dobla la conducta hacia el número y la aleja de la cosa de la que el número era proxy. Medir la actividad es la forma de garantizar que vas a obtener la actividad, y solo a veces, por suerte, el objetivo que está debajo.
La cura: recompensá B, aunque A sea más fácil de contar
El arreglo es del tipo más difícil, porque te pide medir la cosa que de verdad querés en vez de la cosa que es conveniente.
Recompensá el resultado, no la actividad. Si no podés medir el resultado directamente (y muchas veces de verdad no podés), entonces al menos emparejá la métrica de actividad con algo que se mueva en sentido contrario cuando la actividad se está optimizando a costa del objetivo. Volumen de citas junto a visitas-por-caso-resuelto, para que fragmentar la atención aparezca como la ineficiencia que es. Páginas evaluadas junto a una ponderación de dificultad o completitud, para que la página densa valga más que la en blanco y el digitador diligente deje de verse como el lento.
Y antes de atarle una recompensa a cualquier número, corré encima la pregunta de Kerr de forma explícita: ¿cuál es el B que estoy esperando, cuál es el A que estoy por recompensar, y son la misma cosa? Si no lo son (si se puede exprimir A mientras se mata de hambre a B), entonces acabás de construir una máquina que, con perfecta buena fe, te va a dar exactamente el resultado equivocado. Construila igual y la gente más concienzuda de tu equipo será la primera a la que castigue.
Cierre
Nadie en ninguna de estas historias hizo algo malo, y ese es el punto entero. Los dentistas trataron caries reales. Los digitadores evaluaron registros reales. Los números eran honestos, el trabajo era honesto, y el resultado fue un sistema que agendó diez citas donde dos bastaban, y revisó un archivo por sus registros fáciles mientras las más ricas quedaban calladamente sin tocar.
Esta es la falla que ninguna auditoría descubre, porque todos están haciendo exactamente lo que se les pidió. No hay a quién despedir ni fraude que atrapar. La métrica no fue doblada y no estaba equivocada. Fue obedecida, fielmente, por gente buena, hasta un resultado que nadie quería, incluida la institución que lo pidió. La parte más cruel es quién lo paga: no el cínico que le trabaja al sistema, sino el profesional concienzudo que sirve al objetivo real y mira el dashboard llamarlo bajo rendimiento.
Obtenés lo que medís. No lo que querías decir: lo que mediste. Y si esos dos alguna vez se separan, los que sufren primero son los que todavía intentan entregar lo que vos querías.
Deja una respuesta