• Departamento de Economía

    Departamento de Economía

  • Blog
  • 22/10/2021: Premio Nobel de Economía 2021: ¿Cómo hacer creíble el estudio empírico de relaciones causales con datos no experimentales?

22/10/2021: Premio Nobel de Economía 2021: ¿Cómo hacer creíble el estudio empírico de relaciones causales con datos no experimentales?

--Marcelo Bérgolo[1]

Recuerdo varios momentos mientras realizaba mis estudios de posgrado en economía que me “flashearon”, que en definitiva marcaron hacia donde iba a volcar mi interés y energía en esto de la investigación, pero dos de ellos los recuerdo especialmente. Uno, es una charla del Prof. Sebastián Galiani, allá por 2007 (creo), acerca de relaciones causales y cómo utilizar diseños de investigación creativos para responder preguntas con esa característica en economía. El otro, es el curso de economía laboral del Prof. Guillermo Cruces, allá por 2008, donde me topé con investigaciones e investigadores que aplicaban estas ideas a temas concretos y bien importantes.       

Como para mí, imagino que para varios investigadores del departamento, el Premio Nobel de Economía 2021 otorgado la semana pasada a David Card (Universidad de California, Berkeley), Joshua Angrist (MIT) y Guido Imbens (Universidad de Stanford), no fue un premio Nobel “más”. De acuerdo a lo establecido por la Real Academia de las Ciencias de Suecia se le otorgó el premio a Card “por sus contribuciones empíricas a la economía laboral”, y a Angrist e Imbens “por sus contribuciones metodológicas al análisis de las relaciones causales”.

 

El objetivo de esta columna es resumir de manera lo más intuitiva posible cuáles fueron las principales contribuciones que el comité científico identificó para otorgar el Nobel a estos tres economistas. Para esto mi enfoque será seguir de cerca el informe académico del comité sueco, que suele ser excelente y les recomiendo leer siempre.

Estudio empírico de las relaciones causales

Aunque podemos debatir si las preguntas importantes en economía son aquellas que tienen un carácter causal –yo creo que sí—, es innegable que una parte importante de la economía aplicada se ha enfocado en responder este tipo de preguntas. Por ejemplo, ¿cuál es el efecto del fuerte aumento del Salario Mínimo Nacional (SMN) en Uruguay del año 2005 –aumentó 56% en enero y 22% en julio— en el empleo de los trabajadores con salarios más bajos, por ejemplo, los jóvenes?

Si estamos interesados en responder esta pregunta, la principal dificultad empírica que vamos a enfrentar es encontrar un “contrafactual” adecuado. Por ejemplo, quisiéramos saber cómo hubiera evolucionado el empleo de los trabajadores jóvenes si el gobierno no hubiera aumentado el SMN, y eventualmente comparar esta situación (contrafactual) con lo que efectivamente ocurrió con el empleo cuando este aumento sucedió (“tratamiento”). Sin embargo, lo único que observamos en nuestros datos es esto último. Podríamos usar la Encuesta Continua de Hogares de 2004 y 2005, para estimar qué sucedió con el empleo en esos años, y obtendríamos que aproximadamente aumentó un 6% respecto a 2004 para la población entre 15 y 24 años (CEDLAS). ¿Es este el efecto causal del aumento del SMN en 2005? Posiblemente no, ¿cuál es el problema entonces?

El problema es que la correlación entre la realización del tratamiento –en este caso, el aumento del SMN de 2005—, y los resultados que observamos –aumento de 6% en el empleo— puede obedecer a diferentes razones:

  1. El efecto causal del aumento del SMN sobre el empleo de los trabajadores jóvenes – ¡lo que queremos!
  2. A que el efecto causal corre en el sentido inverso al que buscamos –esto es, razones vinculadas a cambios en la coyuntura del mercado de trabajo motivan cambios en el SMN, por ejemplo, una recesión previa con caída de salarios.
  3. Quizás hay una variable omitida, que afecta a ambos, el SMN y el empleo de los jóvenes.

Estos problemas son largamente conocidos en economía aplicada, y han sido abordados mucho antes que los laureados premio Nobel entraran en acción. Hasta los 1980s, el enfoque tradicional en economía para responder preguntas causales se basaba en modelos de ecuaciones estructurales.[2] Sin embargo, este enfoque venía siendo fuertemente cuestionado debido a razones que escapan a esta columna. Un enfoque alternativo, que hoy es considerado como el “malla oro” para abordar empíricamente relaciones causales son los experimentos de campo controlados, enfoque que de hecho les ha valido el Nobel de economía a Banerjee, Duflo y Kremer en 2019 por su aplicación al estudio de diversos temas vinculados a la pobreza y al desarrollo económico. Volviendo a nuestro ejemplo, podríamos asignar aleatoriamente –esto es, al azar— qué joven trabajador recibe el incremento del SMN (“tratado”) y cual no (“control”).[3] Si hiciéramos esto, y observamos en nuestros datos que el empleo aumenta un 6% entre aquellos que reciben el aumento en el SMN en relación a los que no tuvieron esa suerte, estaríamos seguros que esto obedece al cambio de política.

Ahora bien, sabemos que sería muy dificultoso convencer al gobierno de que tiene que sortear a quiénes les asigna el aumento del SMN para poder evaluar de manera creíble esta política. Es más, probablemente no estemos de acuerdo que sea correcto convencer al gobierno de esto, aunque creamos que estaría dispuesto. Por estas, y otras razones, es que un conjunto amplio de preguntas causales en economía –y en general en las Ciencias Sociales— no pueden ser abordadas utilizando datos que provienen de experimentos de campo.

Experimentos naturales: del laboratorio al “mundo real”

Es aquí donde Card, Angrist e Imbens entran en escena en los años noventa. Ellos visualizaron el potencial de recrear condiciones similares a los de un experimento controlado, utilizando eventos o situaciones fortuitas que afectan de manera diferente a diferentes grupos de individuos, y cuya variación puede considerarse “como si” fuera aleatoria. Esta fuente de variación, que se conoce como “experimento natural”, puede provenir de cambios de política, reglas institucionales o administrativas, o alguna fuente inherentemente aleatoria como ganar el 5 de oro. Siguiendo con nuestro ejemplo, si encontráramos que un grupo de trabajadores no es afectado por el cambio en el SMN por alguna razón “fortuita”, podríamos comparar el comportamiento de ambos grupos en el mercado de trabajo y eventualmente establecer de manera creíble que lo que observamos en los datos es el efecto causal de esta política.  

Ahora bien, la idea de aprovechar los experimentos naturales para realizar inferencia causal se remonta más atrás en el tiempo que en los 1990s. Es más, varios de los métodos que se convertirían en la base de los experimentos naturales ya eran conocidos por los economistas bastante antes de que la revolución en la microeconomía aplicada tuviera lugar.

La pregunta que surge entonces es: ¿cuál es la contribución específica de los experimentos naturales en el contexto de principios de los 1990s, y en particular, de los premios Nobel? Lo primero, es reconocer que el uso de experimentos naturales para establecer relaciones causales era la excepción más que la regla hasta ese momento en economía aplicada. Lo segundo, y quizás más importante, es que los trabajos pioneros de Card, Angrist e Imbens lograron sentar las bases de aspectos claves que un investigador debe considerar al momento de estudiar efectos causales: una visión clara de dónde proviene la fuente de variación en la variable de interés, tener un grupo de control creíble, y disponer de una buena estrategia de identificación –esto es, cómo utilizar datos observacionales (que no se derivan de un experimento) para aproximar un experimento real (Angrist y Krueger, 1999). Tercero, la importancia de establecer de manera transparente cuáles son los supuestos detrás de la interpretación de los resultados como causales e investigar su plausibilidad –idealmente con datos.

Experimentos naturales y el funcionamiento del mercado de trabajo

En los noventa, Card utilizó experimentos naturales para analizar los efectos del salario mínimo, el impacto de la inmigración en el mercado de trabajo y el efecto de la inversión en educación sobre el empleo y los salarios. Los resultados de estas investigaciones generaron mucha controversia, al demostrar que a diferencia de lo que se asumía o esperaba de acuerdo a la teoría dominante, no necesariamente se destruiría empleo ante el aumento del salario mínimo, o que el empleo de los nativos quizás no se perjudicara con la inmigración. La principal contribución de estos trabajos fue revisitar viejas preguntas en economía utilizando enfoques más creíbles para contestarlas, y generar a partir de su investigación una variada y rica agenda de investigación centrada en entender de mejor manera cómo funcionan los mercados de trabajo, y cuál es la influencia de las políticas en sus resultados.

Quizás el trabajo más conocido e influyente, y en el que me voy a centrar para ejemplificar su contribución, es el publicado en 1994 junto a Alan Krueger, donde analizan el efecto de un aumento en el salario mínimo en el empleo.[4] Hasta ese entonces, el discurso dominante entre los economistas era que el salario mínimo generaría destrucción de empleo debido al aumento en los costos salariales a las empresas.

Para poner a prueba esta hipótesis, Card y Krueger van a estudiar el impacto de un incremento en el salario mínimo en Nueva Jersey (Estados Unidos) que ocurrió en abril de 1992. Como lo discutimos en el ejemplo del SMN en Uruguay, comparar el nivel de empleo “antes y después” del aumento del salario mínimo hubiera ignorado que muchos otros factores que no tienen que ver con este cambio de política podrían haber afectado la evolución del empleo en Nueva Jersey. Para abordar este problema e intentar identificar el “verdadero” efecto causal de esta política Card y Kruger utilizaron un diseño bastante creativo: comparar el mercado de trabajo de Nueva Jersey con un área adyacente que estaba separada por la frontera estatal, el este de Pennsylvania – como el Chuy y Chui—, y que por lo tanto, estaría expuesta a una política de salario mínimo diferente –el salario mínimo de Pennsylvania se mantuvo inalterado antes y después del aumento observado en Nueva Jersey. La idea detrás de esta comparación es que los mercados de trabajo de estas dos áreas adyacentes operarían de manera similar y estarían expuestas a shocks económicos similares, y entonces Pennsylvania podría ser utilizado como escenario hipotético o contrafactual de Nueva Jersey en ausencia del cambio en el salario mínimo. Por lo tanto, cualquier cambio observado en el empleo en Nueva Jersey podría atribuirse al efecto causal del aumento en el salario mínimo.

Otra innovación de este estudio fue que Card y Krueger recopilaron datos utilizando su propia encuesta en un momento en que los economistas dependían casi exclusivamente de fuentes de datos secundarias, como encuestas de hogares. Es más, en un nuevo trabajo, Card y Krueger (2000), mejoraron su estudio utilizando registros administrativos, lo que confirmó sus resultados. En este sentido, fueron también pioneros en aspectos que hoy son bastante comunes en los estudios aplicados en economía: generar bases de datos propias y utilizar registros administrativos.

En definitiva, el estudio de Card y Krueger va a comparar el efecto sobre el empleo en los restaurantes de comida rápida –que pagan bajos salarios a sus trabajadores—de Nueva Jersey con los de la vecina Pennsylvania antes y después del aumento del salario mínimo en Nueva Jersey –diseño de diferencias en diferencias, ¿les suena? Para sorpresa de todos, encuentran que los cambios en el empleo eran similares en los restaurantes de Nueva Jersey con respecto a los de Pennsylvania (ver figura 1).

Figura 1

Bérgolo f1

Más allá del enfoque novedoso para analizar el efecto de los salarios mínimos, el hecho de que los resultados de este estudio y otros posteriores de Card y Krueger contrastaran con la evidencia previa y con los modelos estándar en economía laboral, contribuyó a fomentar una amplia agenda de investigación en los últimos 30 años. Desde el costado empírico, esta agenda analizó con diferentes enfoques cómo las instituciones del mercado de trabajo afectan el empleo y el salario (Dube, 2019; Manning, 2021), y desde el costado teórico buscó nuevas interpretaciones que concilien la limitada evidencia que los estudios empíricos han encontrado sobre el impacto negativo en el empleo.

Experimentos naturales e inferencia causal lejos del “mundo ideal”

Varios de los trabajos de Card sobre el funcionamiento de los mercados de trabajo aplicaron la idea de experimentos naturales a partir de un diseño de diferencias en diferencias. Sin embargo, una de las aplicaciones más importantes en esto de usar eventos fortuitos o inherentemente aleatorios es a través del método de variables instrumentales. Un gran ejemplo de esto es el estudio de Angrist y Krueger (1991) sobre los retornos en el mercado de trabajo de completar un año adicional de estudios. El problema empírico para establecer un vínculo causal en la asociación entre años de educación y salarios es que hay factores no observados por el investigador –¡la famosa variable omitida!— como los antecedentes familiares y la habilidad que pueden afectar tanto los resultados educativos como con los ingresos. Nuevamente, pedirle al gobierno que haga un sorteo para determinar quiénes pueden seguir un año más de educación, no parece ser una buena solución para resolver el problema del investigador.

Angrist y Krueger observaron que las leyes de escolaridad obligatoria en los Estados Unidos estipulan que los niños deben comenzar el primer año de escuela en el año calendario que cumplen 6 años, y que pueden abandonar el sistema educativo tan pronto como alcanzan la edad de escolarización obligatoria (16 años), incluso cuando su cumpleaños es en la mitad del año escolar. En este contexto – ¡eureka! – visualizaron que la fecha de nacimiento genera variación en los años de escolaridad entre aquellos que estarían dispuestos a abandonar la secundaria, y que por lo tanto, pueden utilizar esta variable como un instrumento para los años de escolarización –esto es, una variable que puede predecir los años de educación, pero que es independiente de los resultados de los individuos en el mercado de trabajo.[5] Los autores afirmaron que podríamos usar la correlación entre el trimestre de nacimiento (como un "instrumento") y los años de educación para “purgar” la relación entre los años de educación y los salarios de cualquiera factor no observado (ver figura 2).

Figura 2

bergolo f2

Al igual que lo sucedido con el trabajo de Card y Krueger sobre salarios mínimos, los resultados de Angrist y Krueger sorprendieron a los economistas, ya que estimaron que el efecto causal de la educación en los ingresos era en realidad mayor que las estimaciones anteriores utilizando métodos convencionales –y menos creíbles. ¿Por qué la sorpresa? Porque la hipótesis entre los economistas era que en este contexto, las variables omitidas como la habilidad, amplificaban “espuriamente” la relación entre años de educación y salarios.[6]

Entonces, ¿cómo debería ser interpretado este resultado? Es aquí, donde una de las contribuciones más importantes de Angrist e Imbens empieza a jugar su partido. En su trabajo de 1994 demostraron que en el tipo de diseños como los utilizados por Angrist y Krueger, el efecto causal que estamos identificando es el efecto promedio entre quienes “cumplen” con la regla de asignación –esto es, el efecto causal entre el subconjunto de la población que cambió su comportamiento debido al instrumento. En el ejemplo de Angrist y Krueger, este subconjunto corresponde a los individuos que hubieran desertado a los 16 años del sistema educativo, pero se quedan un tiempo más debido a que la ley se los impidió. Dicho de otro modo, esta estimación no nos informaría mucho acerca de la relación entre escolaridad y salarios entre aquellos individuos que hubieran seguido estudiando luego de los 16 años, independientemente de esta ley.

En definitiva, Imbens y Angrist contribuyeron con su análisis a arrojar luz sobre cómo deberíamos interpretar nuestras estimaciones causales cuando los individuos son afectados de manera diferente por el tratamiento y eligen si cumplir o no la regla de asignación generada por el experimento natural. Sus aportes mostraron cómo podemos identificar efectos causales –ante un diseño de variables instrumentales— utilizando un conjunto de supuestos mínimos y plausibles. Es más, algo que me parece fundamental es que sus investigaciones nos proporcionaron un marco general para entender cómo evaluar políticas en el mundo real, donde el cumplimiento de la regla de asignación es imperfecto y el efecto de las políticas difiere entre individuos.

En resumen

Card, Angrist e Imbens, aportaron muchísimo a lo que hoy conocemos en economía aplicada como la "revolución de la credibilidad", que consiste en tener diseños de investigación que articulen muy bien el uso de datos y fuentes de variación no experimentales, transparencia en los supuestos de identificación, y un adecuado uso de métodos empíricos para proporcionar estimaciones causales que sean creíbles, aun cuando los resultados vayan en contra de la teoría económica predominante.

Referencias

Angrist, J., Krueger, A.B. (1999). “Empirical strategies in labor economics,” en: Handbook of Labor Economics, Volume 3A, ed. O. Ashenfelter and D. Card, 1277-1366. Amsterdam; New York and Oxford: Elsevier Science, North-Holland

Dube, A. (2019). “Impacts of Minimum Wages: Review of the International Evidence”. London: HM Treasury.

Manning, A. (2021). “The elusive employment effect of the minimum wage.” Journal of Economic Perspectives, 35(1): 3-26.

Notas interesantes y que usé como referencia para escribir esta columna:

https://www.cedlas.econo.unlp.edu.ar/wp/nobel-de-economia-a-3-popes-de-la-revolucion-de-credibilidad/

https://research.wp.st-andrews.ac.uk/2021/10/12/nobel-economics-prize-winners-showed-economists-how-to-turn-the-real-world-into-their-laboratory/

https://voxeu.org/article/natural-experimenters-nobel-laureates-david-card-joshua-angrist-and-guido-imbens


[1]Si bien a lo largo de este trabajo utilizaré el género masculino, esto no implica una intención de no reconocimiento o invisibilización de otros géneros o identidades, sino que constituye una decisión exclusivamente orientada a simplificar la lectura.

[2]Podemos especificar un sistema de ecuaciones que reflejan ciertas relaciones de comportamiento e intentar recuperar y cuantificar la respuesta a cambios de política a partir de la estimación de los parámetros estructurales que gobiernan las decisiones de los individuos.

[3]Si bien no podríamos establecer un contrafactual a nivel individual, el hecho de que la asignación al tratamiento sea aleatoria nos asegura que en promedio ambos grupos serían iguales –y que por lo tanto se comportarían de igual manera— si no asignáramos aumentos de salario al azar.

[4] Creo que hay casi un consenso entre los economistas que valoran los aportes de los tres premios Nobel, de que Krueger (fallecido en 2019), pudo haber recibido también esta distinción.

[5]Dado que las clases en Estados Unidos comienzan en setiembre, niños nacidos a principios de año tienen menor probabilidad de tener un año más de educación en relación a aquellos nacidos a fin de año.

[6]Parece plausible pensar que los individuos que hubieran tenido mayores niveles de ingreso independientemente de tener un año más de educación, por ejemplo, por su habilidad, también hubieran obtenido mayor cantidad de años de educación.

menu logo