Clase 5 y 6: Pruebas de significancia

Introducción

La comparación de los intervalos de confianza de 2 grupos es un método “informal” para saber si las diferencias en las medias o las proporciones entre dos grupos se pueden extrapolar a la población. La idea era calcular los intervalos de confianza para cada grupo y ver si los intervalos se interceptan o no. La regla era que si los intervalos de ambos grupos no se interceptaban, podíamos extrapolar que la diferencia muestral existe en la población al 95% de confianza. Si los intervalos no se traslapan, entonces no podemos afirmar que las diferencias sean significativas. En esta sección se verá cómo pasar de la evaluación “informal” a la “formal” mediante la introducción a la prueba t de diferencia de medias.

Prueba t de diferencia de medias

Esta prueba compara la media de una variable numérica entre dos grupos o categorías de una variable nominal u ordinal. Los grupos que forman la variable nominal/ordinal tienen que ser independientes. Es decir, cada observación debe pertenecer a un grupo o al otro, pero no a ambos.

Por ejemplo, si se quisiera evaluar si existen diferencias en el rendimiento académico entre alumnos hombres y mujeres en la PUCP, teóricamente, se habría registrado el CRAEST de todos los alumnos de la universidad (Variable X) y por lo tanto se podría tener los parámetros del CRAEST para los alumnos hombres y las alumnas mujeres.

Como no se tiene recursos para llegar a toda la población, se extrae una muestra, que incluye alumnos y alumnas. En cada grupo se puede calcular el promedio del CRAEST y se pueden comparar esos promedios muestrales.

Es decir, esta prueba buscar dar luces si la diferencia \(\overline{X}_1 - \overline{X}_2\) se puede extrapolar a la diferencia \(\mu_{x1} - \mu_{x2}\).

Los 6 pasos de la inferencia estadística

Estos 6 pasos básicamente se seguirán en toda prueba inferencial, donde se quiera extrapolar un resultado de la muestra a la población.

Paso 1: hipótesis

ANALOGÍA DEL JUICIO: el acusado entra el juicio con presunción de inocencia.

Formular la hipótesis nula y la hipótesis alternativa. Ambas hipótesis son acerca de los parámetros.

H0: \(\mu_{x1} - \mu_{x2} = 0\)

HA: \(\mu_{x1} - \mu_{x2} \ne 0\)

La H0 es generalmente la hipótesis de no efecto, de no diferencias. Se parte siempre de una hipótesis de no diferencias. Esta es la hipótesis que se busca negar mediante los resultados obtenidos en la muestra.

La idea central es que si la H0 fuera cierta en la población, los resultados muestrales ocurrirían muy cerca a 0 en muchas muestras y pocas muestras tendrán valores muy diferentes de cero.

Paso 2: distribución muestral

ANALOGÍA DEL JUICIO: Si el acusado es inocente, entonces no debería existir tales o cuales pruebas

Si la H0 es verdadera y se extraen muestras repetidamente, las diferencias muestrales se centrarán alrededor de cero como una distribución t aproximadamente normal. Esta distribución tendrá un error estándar calculado

• Si las varianzas poblacionales son iguales de:

\[ s_{\overline{x1}-\overline{x2}} = \sqrt{\frac{(n_1-1)s_{x1}^2+(n_2-1)s_{x2}^2}{n_1+n_2-2}}*\sqrt{\frac{n_1+n_2}{n_1n_2}} \]

• Si las varianzas poblacionales son diferentes de:

\[ s_{\overline{x1}-\overline{x2}} = \sqrt{\frac{s_{X1}^2}{n_1-1}+\frac{s_{X2}^2}{n_2-1}} \]

Paso 3: nivel de significancia

ANALOGÍA DEL JUICIO: qué tantas pruebas debe haber para sentenciar al acusado?

Se trata de la probabilidad que define qué tan inusual debe ser la diferencia de medias muestral para rechazar la H0 (que la diferencia de medias poblacionales sea 0). El valor más común es de \(\alpha=0.05\).

Es decir, qué tan diferente debe ser la diferencia de medias muestrales de cero para poder afirmar que este valor es muy “raro” o “diferente” si es que la H0 fuera cierta.

Paso 4: observación

ANALOGÍA DEL JUICIO: Qué pruebas trae el fiscal y la policía?

Se calcula el estadístico de la prueba. Este estadístico lo que hace es “medir” qué tan “raro” o “diferente” es el valor encontrado.

\[ t_{\overline{x1}-\overline{x2}}=\frac{\overline{X}_1-\overline{X}_2}{s_{\overline{X}_1-\overline{X}_2}} \]

Este valor del estadístico de la prueba está en unidades del error estándar, es decir, qué tan cerca o lejos se encuentra del centro de la distribución (centrada en 0).

Con este valor, en la distribución t se calcula la probabilidad de que este valor ocurra, el valor de p-value. Es decir, el p-value mide la probabilidad de observar en una muestra una diferencia de medias como la observada, si la diferencia de medias poblacional fuera cero.

Se puede usar una calculadora de p-value de la distribución t disponible aquí. En la práctica, cualquier software estadístico nos brinda el resultado del p-value.

Paso 5: decisión

ANALOGÍA DEL JUICIO: Juez decide si las pruebas no son lo suficientemente sólidas para condenar al acusado. O, si son lo suficientemente sólidas para condenarlo.

• Si el p-value > 0.05, entonces se falla en rechazar la Ho. Esto indicaría que existe más de 5% de probabilidades que una muestra aleatoria cualquiera encuentre una diferencia de medias como la observada si es que la diferencia de medias poblacional fuese 0.

• Si el p-value <= 0.05 entonces se rechaza H0 y se afirma HA (siempre con un grado de incertidumbre). Esto indicaría que la probabilidad de observar una diferencia de medias como la observada en la muestra es baja (menor a 5%). Como sí se ha observado esa diferencia de medias en la muestra, entonces se concluye que lo más probable es que la hipótesis que indica que la diferencia de medias poblacional es 0 sea falsa.

Paso 6: interpretación

ANALOGÍA DEL JUICIO: Si no hay suficientes pruebas, nunca se afirma que el acusado es inocente!!! Se afirma que no es culpable. Si hay suficientes pruebas, se afirma que el acusado es culpable.

• Si el p-value es > 0.05, la conclusión es que no se puede rechazar la Ho. La conclusión NO es que se afirma la H0. Nunca se afirma que las medias sean iguales!!!

• Con los datos obtenidos, no se puede decir que existe una diferencia de medias entre ambos grupos.

• Si el p-value es <= 0.05, se afirma que sí existe una diferencia de medias entre ambos grupos con un 95% de confianza.

Ejemplo 1 de variable numérica: ENDO 2020

Importamos la base de datos

library(rio)
endo2020 = import("bases/ENDO_REMOTO_2020.dta")

Factorizamos la variable P1_1 y creamos variable sexo con sus etiquetas.

library(dplyr)
library(tidyverse)
endo2020 = endo2020 %>%
  mutate(sexo = factor(P1_1, labels=c("Hombre", "Mujer")))

Queremos evaluar la diferencia de medias entre el número de alumnos con los que trabaja un profesor hombre y una profesora mujer. Para esto calculamos la media de alumnos para cada grupo.

alumxsexo = endo2020 %>%
  group_by(sexo) %>%
  summarize(Media = mean(P1_6, na.rm = T))
alumxsexo

## # A tibble: 3 × 2
##   sexo   Media
##   <fct>  <dbl>
## 1 Hombre  52.2
## 2 Mujer   34.1
## 3 <NA>   NaN

Con esta tabla, calculamos la diferencia entre las medias de los grupos.

alumxsexo[1,2] - alumxsexo[2,2]

##      Media
## 1 18.18187

La diferencia es de 18.2 alumnos. Esta diferencia es para el grupo de 28 mil profesores encuestados. La pregunta es: ¿Se puede afirmar que existe esta diferencia en la población?

Para evaluar si existen o no diferencias poblacionales, usamos el comando t.test. E

t.test(P1_6 ~ sexo, data = endo2020)

## 
##  Welch Two Sample t-test
## 
## data:  P1_6 by sexo
## t = 21.079, df = 9466.6, p-value < 2.2e-16
## alternative hypothesis: true difference in means between group Hombre and group Mujer is not equal to 0
## 95 percent confidence interval:
##  16.49110 19.87264
## sample estimates:
## mean in group Hombre  mean in group Mujer 
##             52.24745             34.06558

Como el p-value < 0.05, entonces se rechaza la H0 y se puede afirmar que esa diferencia existe en la población a tal nivel de significancia.

endo2020 = endo2020 %>%
  mutate(nivel = case_when(
    NIVEL==1~1,
    NIVEL==2~2,
    NIVEL==3~2))

alumxnivel = endo2020 %>%
  group_by(nivel) %>%
  summarize(Media = mean(P1_6, na.rm = T))
alumxnivel

## # A tibble: 2 × 2
##   nivel Media
##   <dbl> <dbl>
## 1     1  18.7
## 2     2  48.6

t.test(P1_6 ~ nivel, data = endo2020)

## 
##  Welch Two Sample t-test
## 
## data:  P1_6 by nivel
## t = -58.732, df = 14809, p-value < 2.2e-16
## alternative hypothesis: true difference in means between group 1 and group 2 is not equal to 0
## 95 percent confidence interval:
##  -30.89932 -28.90345
## sample estimates:
## mean in group 1 mean in group 2 
##        18.67677        48.57816

Ejemplo de variable categórica para la diferencia de proporciones: ENDO

Se vio en el módulo anterior que se podía evaluar si existen diferencias entre la proporción de profesores hombres que habían recibido apoyo psicológico comparado con las profesoras mujeres.

La prueba adecuada para evaluar una prueba de diferencia de proporciones es mediante el comando prop.test. Este comando, como se puede ver en el “help”, pide como argumentos los datos de “éxitos” (la proporción que se quiere evaluar) y los datos de “intentos” (el n total). Es decir, a diferencia del comando t.test que pido como argumentos las variables, aquí se tiene primero que encontrar los “éxitos” e “intentos”.

Primero se tiene que transformar la variable P1_13 que es importada como numérica, como una variable de factor y con sus etiquetas.

endo2020 = endo2020 %>%
  mutate(apoyo = factor(P1_13, labels=c("Sí", "No")))

Luego, para responder a la pregunta de si esta proporción varía entre docentes hombres y mujeres, tenemos que crear otra tabla con las frecuencias por cada grupo de la variable “sexo” y “apoyo”.

A diferencia del módulo anterior, aquí vamos a usar group_by de ambas variables y en cada grupo calcular el N total. Esto nos dará los éxitos que requerimos.

tabla1 = endo2020 %>%
  filter(apoyo =="Sí" | apoyo == "No") %>%
  group_by(sexo) %>%
  count(apoyo = apoyo, name="N") %>%
  mutate(total = sum(N))
tabla1

## # A tibble: 4 × 4
## # Groups:   sexo [2]
##   sexo   apoyo     N total
##   <fct>  <fct> <int> <int>
## 1 Hombre Sí     2777  6163
## 2 Hombre No     3386  6163
## 3 Mujer  Sí     6699 12767
## 4 Mujer  No     6068 12767

Con estos datos, corremos el comando prop.test.

prop.test(c(2777, 6699), c(6163,12767))

## 
##  2-sample test for equality of proportions with continuity correction
## 
## data:  c(2777, 6699) out of c(6163, 12767)
## X-squared = 91.044, df = 1, p-value < 2.2e-16
## alternative hypothesis: two.sided
## 95 percent confidence interval:
##  -0.08938432 -0.05885549
## sample estimates:
##    prop 1    prop 2 
## 0.4505922 0.5247121

Según los resultados, se encuentra que el 52.5% de docentes mujeres recibieron apoyo psicológico versus el 45.1% de docentes hombres. Este comando nos brinda el IC de la diferencia de proporciones al 95% de confianza. Este IC de la diferencia de proporciones varía entre -8.9% y -5.9%. La diferencia de proporciones tiene un p-value < 2.2e-16, que es menor a 0.05, por lo que se rechaza la H0 y se afirma que la diferencia en porcentajes entre hombres y mujeres es estadísticamente significativa en la población. Es decir, que las profesoras peruanas reciben más ayuda psicológica que los profesores peruanos.

Otro ejemplo es evaluar si la condición laboral de “Nombrado” (P1_7) varía entre hombres y mujeres. Lo primero es factorizar la variable.

endo2020 = endo2020 %>%
  mutate(condicion = factor(P1_7, labels=c("Nombrado", 
                                           "Contratado por concurso", 
                                           "Contratado con otra modalidad")))

Luego, se crea la tabla con los datos que requerimos.

tabla2 = endo2020 %>%
  filter(condicion =="Nombrado" | condicion == "Contratado por concurso"
  | condicion == "Contratado con otra modalidad") %>%
  group_by(sexo) %>%
  count(condicion = condicion, name="N") %>%
  mutate(total = sum(N))
tabla2

## # A tibble: 6 × 4
## # Groups:   sexo [2]
##   sexo   condicion                         N total
##   <fct>  <fct>                         <int> <int>
## 1 Hombre Nombrado                       3303  6171
## 2 Hombre Contratado por concurso        2830  6171
## 3 Hombre Contratado con otra modalidad    38  6171
## 4 Mujer  Nombrado                       7140 12779
## 5 Mujer  Contratado por concurso        5578 12779
## 6 Mujer  Contratado con otra modalidad    61 12779

Con esta tabla se encuentra que entre los hombres se tiene 3303 éxitos y para las mujeres un total de 7140 éxitos. Lo que no se encuentra directamente es el total, que se tiene que calcular sobre cada grupo, sobre cada columna.

De esta manera se encuentra que entre los hombres se tiene 3303 éxitos de un total de 6171 intentos (53.5.4%). Entre los mujeres se tiene 7140 intentos de un total de 12779 intentos (55.9%).

Para tener una mejor presentación de la tabla cuando se produce el html, se puede usar la librería knitr y el comando kable.

library(knitr)
kable(head(tabla2), format="markdown", digits=1)

sexo	condicion	N	total
Hombre	Nombrado	3303	6171
Hombre	Contratado por concurso	2830	6171
Hombre	Contratado con otra modalidad	38	6171
Mujer	Nombrado	7140	12779
Mujer	Contratado por concurso	5578	12779
Mujer	Contratado con otra modalidad	61	12779

Estos datos son los que requiere el comando prop.table para evaluar la diferencia de proporciones (9.7-6.4= 3.3%).

prop.test(x=c(3303, 7140), n=c(6171, 12779), conf.level=0.95)

## 
##  2-sample test for equality of proportions with continuity correction
## 
## data:  c(3303, 7140) out of c(6171, 12779)
## X-squared = 9.182, df = 1, p-value = 0.002444
## alternative hypothesis: two.sided
## 95 percent confidence interval:
##  -0.038735472 -0.008231852
## sample estimates:
##    prop 1    prop 2 
## 0.5352455 0.5587292

Como se observa de los resultados, el estadístico de la prueba “X-squared” se llama chi-cuadrado y no es el mismo que el estadístico t. El p-value asociado es 0.0025 < 0.05, por lo que lleva a la conclusión de rechazar la H0 de igualdad de proporciones y afirmar que entre ambos grupos existe una diferencia en la proporción de “nombrados” entre hombres y mujeres en la población.

Es importante notar cuando se concluye que no se puede decir o no se puede afirmar. Cuando se obtiene un p-value <= 0.05, se rechaza la H0 y se afirma la HA, que la diferencia existe en la población con un 95% de confianza. Pero, cuando se obtiene un p-value > 0.05, no se afirma la HA, lo que se concluye es que no se puede rechazar la H0. Esto quiere decir que no afirmamos que las medias poblacionales sean iguales, sino que, con los datos que tenemos, no podemos decir que son diferentes.

Para aclarar esto, vale la pena hacer una analogía jurídica.

Analogía del juicio

Ya sea mediante nuestra experiencia viendo JusticiaTV o viendo series sobre abogados, la imagen que tenemos de un juicio es como esta imagen.

En esta imagen hay varios actores:

• El acusado: entre rejas y con el traje naranja.

• El policía que cuida al acusado, pero que también simboliza a la institución que se encarga del recojo de pruebas.

• El fiscal o parte acusadora: que se encuentra mostrando una imagen de un cuchillo, posiblemente tomada por un policía.

• Los abogados defensores: sentados.

• El jurado: que evalúan las pruebas y tienen la facultad de emitir un veredicto.

• El juez: que anuncia el veredicto y le da carácter legal.

La lógica que sigue este tipo de procedimiento es similar a la que sigue una prueba de inferencia estadística.

• La H0 es la hipótesis de no efecto. En el caso del juicio es el supuesto de entrada de que el acusado es inocente. Se llama “presunción de inocencia”. La hipótesis alternativa es que es culpable, pero para llegar a ella se requiere negar la H0 mediante datos o “evidencia”.

• La policía es la que recoge la evidencia para que la fiscalía pueda acusar. Es decir, la policía armaría la “base de datos” de evidencia.

• La labor de la fiscalía (la parte que acusa) es armar el caso. Es decir, presentar la evidencia recogida por la policía de tal manera que el jurado se convenza del caso. La fiscalía sería como la prueba de inferencia estadística.

• Mientras más y mejor evidencia presente la fiscalía, más elementos para que el jurado rechace la H0 de “presunción de inocencia”.

• Si la evidencia no es sólida, el jurado tendrá dudas y puede no rechazar la Ho de presunción de inocencia.

• En el juicio no hay una medida matemática que resuma la evidencia a favor o en contra (como el p-value) ni un valor crítico para tomar una decisión. Se asume que los jurados sabrán establecer ese límite en el cual la evidencia es lo suficientemente sólida para rechazar la H0.

• Si la evidencia cruza ese umbral de los jurados, se rechazará la H0. El jurado recomendará su decisión al juez. El juez anunciará que el acusado es “culpable”. Es decir, se afirma la HA.

• Si la evidencia no cruza ese umbral de los jurados, no se rechaza la H0. El jurado trasladará su decisión al juez y el juez anunciará que el acusado “no es culpable”. Es decir, no se puede rechazar la H0.

• Es importante notar la decisión cuando la evidencia no es sólida. No es lo mismo decir “no es culpable” a decir “es inocente”. Decir que el acusado no es culpable involucra una situación de incertidumbre. Por ejemplo, si la policía no hizo bien su trabajo y no recogió la evidencia de manera adecuada, es posible que haya dudas con respecto al acusado. Decir que el acusado es inocente, por el contrario, implica una certeza, que la evidencia es contundente en apuntar en esa dirección.

• A pesar que este método es científico puede llevar a errores.

• Falso positivo (o error de tipo I): cuando declaras culpable a un inocente.

• Falso negativo (o error de tipo II): cuando declaras no culpable a un culpable.

• Para evitar falsos positivos se propone pedir evidencia cada vez más sólida para condenar a alguien. Pero, si se exige evidencia cada vez más solida, aumenta la probabilidad de falsos negativos. Ambos tipos de errores se contrabalancean mutuamente.

¿Qué tipo de error es más pernicioso? Es un tema que los filósofos tratan de responder.

“There are two ways to be fooled. One is to believe what isn´t true. The other is to refuse to believe what is true” (Soren Kierkegaard).

Nota final

Este procedimiento se podría decir que es parte del método científico, en el sentido popperiano de “falseabilidad”. Desde esta perspectiva, una investigación científica parte de una hipótesis de no efecto que busca negar con evidencia empírica para llegar a la conclusión que sí existen ese efecto. Las conclusiones a las que se llegan siempre tienen un componente de incertidumbre.

Este método es contraintuitivo. El ser humano, por el contrario, generalmente busca evidencia para afirmar una hipótesis de que existe un efecto o relación. En cierto sentido, se busca reafirmar las prenociones.

Por ejemplo, no es lo mismo partir de la hipótesis que la “revolución capitalista” en el Perú trajo bienestar y desarrollo y buscar evidencia que apoya esta hipótesis, que partir de la hipótesis que la “revolución capitalista” NO trajo bienestar y desarrollo y buscar evidencia suficiente para negar esa hipótesis y afirmar que sí lo hizo. Para una muestra de esta diferencia ver el comentario de Cotler al libro de Althaus.