El número decía que la sala de emergencias era excelente. Sentado en esa sala de espera, no me decía nada de lo que necesitaba saber.
Mi hija estaba en cirugía. Fue en 2017, en San José. Programada, de rutina, de las que el cirujano hace antes del almuerzo y para la cena ya olvidó. Eso no hace más fácil la sala de espera cuando vos sos el padre que está ahí.
El hospital era privado y, por toda señal que yo pudiera leer, bueno. La sala de espera quedaba junto a la sala de emergencias, y en la pared al lado del escritorio de admisiones había un panel. Un KPI, enmarcado y orgulloso: 99.5% de los pacientes admitidos en menos de 30 minutos. Meta: 95%.
Soy una persona de datos. El cerebro no se apaga, ni siquiera cuando debería. Así que mientras esperaba a que mi hija saliera, hice lo que siempre hago con un número en una pared: pregunté qué medía en realidad. Pero voy a ser honesto sobre lo que tenía y lo que no. Tenía la molestia (el número me raspaba) y tenía la pregunta. No tenía el marco. La distinción entre un espejo y una ventana, que es de lo que trata este post, no se me ocurrió en esa silla; la fui a encontrar años después, armando una metodología propia y escribiendo esta serie. Ese día solo supe que un número perfecto no me servía de nada, y no habría podido explicarte por qué.
Ese día no pasó nada. Ningún colapso, ningún muerto. Mi hija salió bien. Este no es ese tipo de post. Es del tipo más callado: un número perfecto, un padre asustado, y la lenta caída en cuenta de que los dos no tenían nada que ver entre sí.
Qué estaba midiendo el número
Arranquemos por la lectura literal. El hospital estaba cronometrando cuánto tardaba en admitir administrativamente a un paciente. Desde el momento en que entrás hasta el momento en que tu registro existe en el sistema: nombre capturado, cédula fotografiada, un número impreso. Menos de treinta minutos, el 99.5% de las veces. Superando una meta de 95% por cuatro puntos y medio.
Esa es una medición real. Alguien construyó la lógica de los timestamps, alguien saca el reporte, alguien lo presenta a un comité que asiente. El número es casi seguramente cierto.
Ahora preguntate qué deja afuera. No mide cuánto tardás en que un médico te vea. No mide tiempo a diagnóstico, tiempo a tratamiento, tiempo al medicamento que corta el dolor. No mide si te mejoraste. Un paciente podría ser admitido en once minutos, hermosamente, y después esperar cuatro horas sangrando en una silla, y el KPI seguiría marcando 99.5%. El reloj se detiene en el instante en que el papeleo queda listo.
Entonces la métrica mide la velocidad de imprimir un número y fotografiar una cédula. No mide la atención. Y en una sala de emergencias, la atención es lo único por lo que cualquiera entró por esa puerta.
El espejo y la ventana
Acá está la distinción a la que sigo volviendo.
Una ventana te muestra el mundo. Mirás a través de ella y ves lo que de verdad hay afuera: el clima, la calle, si es seguro salir. Un espejo te muestra a vos mismo, y te muestra favorecido, en la luz que elegiste.
Ese KPI de admisiones era un espejo. Reflejaba la competencia del hospital de vuelta hacia el hospital. Mirá qué rápido procesamos gente. Y el reflejo era preciso. Probablemente sí eran rápidos. El espejo no mentía sobre la cara que mostraba.
Solo que nunca iba a mostrarme lo que yo necesitaba. Sentado en esa silla, no me importaba qué tan rápido fotografiaban la cédula del siguiente paciente. Me importaba si la gente detrás de esas puertas sabía lo que hacía con los pacientes que ya estaban adentro. La métrica en la pared podía marcar 99.5% para siempre y no decirme nada sobre eso. Un espejo perfecto, y ni un solo vidrio de ventana en él.
Esto es lo que es una métrica de vanidad. Eric Ries, en The Lean Startup, trazó la línea entre métricas de vanidad y métricas accionables: números que suben pero no implican ningún aprendizaje ni exigen ninguna acción. El KPI de admisiones es la versión más pura que he visto enmarcada y colgada en una pared. Sube. Nadie aprende nada. Ninguna decisión cambia. Existe para ser admirado.
La parte que lo vuelve peligroso
Tal vez esperás que diga que el hospital estaba haciendo trampa. No la hacía. Eso es exactamente lo que hace que valga la pena escribir sobre esto.
Hay un fracaso distinto, y voy a llegar a él en el próximo post. Ahí la métrica arranca sana: observala pasivamente y reporta el negocio con honestidad. Después alguien le amarra una recompensa, y deja de representar la realidad. Puede haber mala fe ahí y puede no haberla, y importa menos de lo que uno esperaría, porque cualquier cosa a la que le pagués por unidad va a empezar a cazar unidades más baratas, haya intención o no.
La métrica de vanidad nunca tuvo ese momento. Ningún número bueno se echó a perder bajo presión. La velocidad de admisión nunca iba a decirte nada sobre la atención, antes de que existiera recompensa alguna y antes de que a nadie se le ocurriera optimizarla. Observala tan pasivamente como querás y sigue apuntando a un lado de lo que te trajo ahí. Esa es la distinción que vale la pena sostener, porque aguanta donde ¿alguien estaba haciendo trampa? no aguanta: un fracaso es una métrica sana corrompida por un objetivo, y este es una métrica que nunca apuntó a la meta.
Nadie en ese hospital se sentó a engañarme. El equipo de admisiones de verdad era eficiente. La gerencia de verdad tenía un número del cual estar orgullosa. El comité de verdad veía mejora. Todos eran honestos, y el resultado seguía siendo un afiche que medía lo equivocado a plena vista.
Por eso es más insidiosa que la trampa. Un número doblado por un incentivo se puede atrapar, porque deja de coincidir con el mundo y ese desajuste deja rastro. Pero una métrica de vanidad es cierta. No la podés atrapar revisando la aritmética, porque la aritmética está bien. Sobrevive precisamente porque es honesta, precisa, y al margen de lo que importa. El espejo no miente sobre tu cara. Solo que únicamente muestra tu cara, y a eso le llama el cuarto.
Por qué la pared está llena de espejos
Una vez que tenés la distinción entre espejo y ventana, empezás a ver espejos en todas partes, y no solo en los dashboards. Brasil contra Japón, medio tiempo, Japón ganando 1-0 contra todo pronóstico. Un comentarista busca el número que lo explica: el equipo japonés corrió cinco kilómetros más que Brasil. El dato es real, es halagador, y apunta justo a lo que no importa. El otro en la cabina, un exjugador, no lo deja pasar: en el fútbol no se gana corriendo, se gana metiendo goles. Los cinco kilómetros miden esfuerzo, garra, cuánto lo quería el equipo. No miden goles, y los goles son lo único que hay en el marcador. Lo que empeora el momento es que en ese minuto exacto el espejo coincidía con el mundo: Japón iba ganando. Ahí es cuando una métrica de vanidad es más peligrosa. No cuando contradice el resultado, sino cuando por casualidad lo acompaña, porque es ahí cuando se confunde con la razón.
Las métricas de vanidad no son accidentes raros. Se reproducen, y las razones por las que se reproducen son estructurales.
Son fáciles de medir. Un timestamp de admisión es trivial de capturar. Un desenlace clínico es difícil, lento y discutido. Así que medís lo fácil y dejás que sustituya a lo difícil.
Favorecen a todos en la cadena. El personal de admisiones se ve eficiente. La gerencia se ve gerenciando. El comité se ve mejorando la institución. Un número que hace que todos en el cuarto se vean bien no se cuestiona en ese cuarto.
Y rara vez incomodan a alguien. Las métricas que valdría la pena seguir en una sala de emergencias (tiempo a tratamiento, tasa de error diagnóstico, qué le pasó al paciente después de irse) son las que pueden avergonzar a alguien. Las métricas espejo nunca lo hacen. Son seguras. Ese es su trabajo.
Así que el dashboard se llena de ellas. Likes que nunca convierten. Tasas de aprobación de cursos sin evidencia de aprendizaje. Un conteo de proyectos activos sin vínculo con el valor entregado. Cada una fácil, halagadora, cómoda. Cada una un espejo que alguien confundió con una ventana.
La cultura que pide espejos
Hasta acá lo he descrito como si los espejos aparecieran por accidente: el número fácil estaba ahí, el difícil no. Muchas veces es cierto. Pero hay una versión donde el espejo no es ningún accidente: es lo que la organización exigió. Algunas culturas no perdonan las malas noticias. Entrá a la reunión de directivos con un número en rojo y te convertís vos en el problema, no el número. La gente aprende eso rápido, y los dashboards derivan hacia el verde. No porque alguien haya falsificado nada, sino porque las métricas que solo pueden verse bien son las seguras de presentar. Una cultura que castiga al mensajero termina sin mensajeros. Solo con espejos.
Esto suele viajar junto a baja madurez de BI, y las dos se alimentan entre sí. Una organización que nunca aprendió a usar los datos para encontrar problemas los usa para confirmar comodidad. Los números sonríen, los reportes aplauden, y el barco puede estar haciendo agua todo el tiempo, porque nada en esa pared se construyó jamás para mostrar la línea de flotación.
Acá está la parte difícil para cualquiera que intente arreglar esto desde abajo. Podés emparejar cada métrica con el desenlace correcto, construir la ventana más limpia del edificio, y no va a sobrevivir a una cultura que no quiere mirar a través de ella. La reparación no empieza en el modelo semántico. Empieza en la mentalidad de la dirección: en un liderazgo que decide que la mala noticia es información, no insubordinación, y premia a quien trae la ventana por encima de quien pule el espejo. Hasta que eso cambie, ganan los espejos. Los espejos son lo que el cuarto está pidiendo.
Lo que dejamos afuera es la historia completa
La trampa no está en el número que está en la pared. Está en el número que no está ahí.
William Bruce Cameron lo dijo mejor de lo que yo puedo, allá en 1963: “Not everything that can be counted counts, and not everything that counts can be counted.” La sala de emergencias medía lo que era contable: el timestamp de admisión, limpio y barato. Dejaba afuera lo que contaba (si el paciente se mejoraba) porque eso es caro, desordenado y lento de saber.
Este es el peso ético de una métrica de vanidad, y es un peso distinto al del primer post de la serie. La mentira de una definición ambigua es que dos cosas llevan el mismo nombre. La mentira de una métrica de vanidad es más callada: es un número cierto parado frente a la pregunta que importa, tapando la vista. Nada en él es falso. Todo lo importante simplemente quedó fuera de cuadro.
Cuando reportás el espejo y te quedás callado sobre la ventana, estás tomando una decisión sobre lo que la organización tiene permitido ver. Normalmente nadie decide eso a propósito. Pasa porque el número fácil estaba disponible y el difícil no. Pero el efecto es el mismo que si alguien lo hubiera elegido: un hospital que sabe, con un decimal de precisión, qué tan rápido admite gente, y no tiene la misma certeza sobre si la cura.
La cura: emparejá el espejo con una ventana
Una métrica de vanidad no se arregla borrándola. La velocidad de admisión no carece de valor. En un evento con víctimas masivas podría importar muchísimo. Se arregla negándote a dejarla sola.
El orden importa, y es al revés de cómo trabajamos casi todos. Los dos movimientos de abajo son técnicos, y un arreglo técnico aterriza sobre una cultura o no aterriza. Así que la cultura va primero.
Esa parte es trabajo de gestión del cambio, no de modelado, y se sale del alcance de este post. No voy a pretender que un post sobre métricas te enseñe a mover gente. Lo que sí puedo hacer es señalar el mapa. El modelo de cambio de Kotter es el que casi todos agarramos, y para este problema el primer paso es el que cuenta: crear sentido de urgencia. Que resulta ser exactamente el paso que una pared de espejos está construida para impedir. Todos esos números en verde son una máquina de complacencia, y su trabajo es que nadie sienta que hay algo que cambiar. La métrica que necesitás arreglar es también lo que bloquea las condiciones para arreglarla.
Rompé ese ciclo primero. Conseguí que alguien con autoridad sienta la brecha entre el número y el cuarto. Hacelo y los dos movimientos de abajo son un martes por la tarde. Saltátelo y vas a construir la ventana más limpia del edificio para ver que nadie se acerca a mirarla.
Primero, emparejá cada métrica propensa a la vanidad con el desenlace que está sustituyendo en silencio. La velocidad de admisión se sienta al lado del tiempo a tratamiento y de una medida de desenlace clínico. Por sí sola, la velocidad de admisión es un espejo. Sentada al lado de aquello que pretendía representar, se vuelve un insumo de una ventana: una admisión rápida es buena si alimenta un tratamiento rápido, y ahora podés ver si lo hace.
Segundo, aplicale una pregunta de diagnóstico a cualquier cosa en tu dashboard: ¿qué decisión cambia si este número se mueve? Si la velocidad de admisión cae de 99.5% a 96%, ¿qué hace alguien distinto? Si la respuesta honesta es nada (si el número solo se reporta y se admira), estás mirando un espejo. Etiquetalo como decoración o bajalo de la pared, pero dejá de fingir que te está contando algo sobre el mundo.
Cierre
Mi hija salió de cirugía bien, y el hospital era bueno: quiero ser claro en eso, porque esta no es una historia sobre una institución incompetente. Es una historia sobre una institución competente midiendo lo equivocado a plena vista, con las mejores intenciones y un 99.5% para mostrarlo. El espejo no estaba equivocado. Solo que nunca iba a responder la única pregunta que yo tenía en esa silla: si la gente detrás de esas puertas podía cuidar de mi hija. Un espejo no te puede decir eso. Solo puede mostrarte qué tan bien te ves mientras esperás.
El número más halagador de cualquier dashboard es el que mide algo real y adyacente a nada que importe. Va a pasar toda auditoría, porque es cierto. Va a sobrevivir toda revisión, porque hace que el cuarto se vea bien. Y te va a impedir hacer la pregunta más difícil exactamente durante todo el tiempo que lo dejes colgado ahí, atrapando la luz.
Deja una respuesta