Los datos deben ser interpretados para agregar significado y podemos interpretar los datos asumiendo una estructura específica de nuestro resultado al igual que usando métodos estadísticos para confirmar o rechazar el supuesto.

A este supuesto se le llama hipótesis y las pruebas estadísticas utilizadas para este propósito se llaman pruebas de hipótesis estadísticas. 

Siempre que queramos hacer afirmaciones sobre la distribución de datos o si un conjunto de resultados es diferente de otro conjunto de resultados en el aprendizaje automático aplicado, debemos confiar en las pruebas de hipótesis estadísticas. 

Pruebas de Hipótesis

Los datos por sí solos no son interesantes. Es la interpretación de los datos lo que realmente nos interesa. En estadística, cuando deseamos comenzar a hacer preguntas sobre los datos e interpretar los resultados, utilizamos métodos estadísticos que dan confianza o probabilidad sobre las respuestas. En general, esta clase de métodos se denomina prueba de hipótesis estadística o pruebas de significación.

El término " hipótesis " puede hacerte pensar en la ciencia, donde investigamos una hipótesis y sin duda, este es el camino correcto. En estadística, una prueba de hipótesis calcula alguna cantidad bajo un supuesto dado. El resultado de la prueba nos permite interpretar si el supuesto se cumple o si se ha violado el supuesto. 

El supuesto de una prueba estadística se llama hipótesis nula o hipótesis 0 (H0 para abreviar). A menudo se le llama suposición predeterminada o la suposición de que nada ha cambiado. Una violación de la suposición de la prueba a menudo se llama primera hipótesis, hipótesis 1 o H1 para abreviar. H1 es realmente una abreviatura de "alguna otra hipótesis", ya que todo lo que sabemos es que la evidencia sugiere que el H0 puede ser rechazado. 

• Hipótesis 0 (H0): la suposición de la prueba se cumple y no se puede rechazar en algún nivel de importancia.
• Hipótesis 1 (H1): la suposición de la prueba no se cumple y se rechaza a cierto nivel de importancia.

Antes de que podamos rechazar o no rechazar la hipótesis nula, debemos interpretar el resultado de la prueba.

Interpretación

Los resultados de una prueba de hipótesis estadística deben interpretarse para que podamos comenzar a hacer afirmaciones. Este es un punto que puede causar mucha confusión tanto para principiantes como para profesionales experimentados.

Hay dos formas comunes que puede tomar un resultado de una prueba de hipótesis estadística, y deben interpretarse de diferentes maneras. Son el valor p y los valores críticos.

Interpreta el valor p

Describimos un hallazgo como estadísticamente significativo al interpretar el valor p. Por ejemplo, podemos realizar una prueba de normalidad en una muestra de datos y descubrir que es improbable que la muestra de datos se desvíe de una distribución gaussiana y no rechace la hipótesis nula.

Una prueba de hipótesis estadística puede devolver un valor llamado p o el valor p. Esta es una cantidad que podemos usar para interpretar o cuantificar el resultado de la prueba y rechazar o no rechazar la hipótesis nula. Esto se realiza comparando el valor p con un valor umbral elegido de antemano llamado nivel de significancia.

El nivel de significancia se refiere a menudo con la letra minúscula griega alfa. Un valor común usado para alfa es 5% o 0.05. Un valor alfa más pequeño sugiere una interpretación más robusta de la hipótesis nula, como 1% o 0.1%. El valor p se compara con el valor alfa preseleccionado. Un resultado es estadísticamente significativo cuando el valor p es menor que alfa. Esto significa que se detectó un cambio: que la hipótesis predeterminada puede ser rechazada.

Si valor p> alfa: no se puede rechazar la hipótesis nula (es decir, resultado no significativo).

Si el valor p <= alfa: rechaza la hipótesis nula (es decir, resultado significativo).

Rechazo

El valor p es probabilístico. Esto significa que cuando interpretamos el resultado de una prueba estadística, no sabemos qué es verdadero o falso, solo qué es probable.

Rechazar la hipótesis nula significa que existe evidencia estadística suficiente de que la hipótesis nula no parece probable. De lo contrario, significa que no hay evidencia estadística suficiente para rechazar la hipótesis nula.

Podemos pensar en la prueba estadística en términos de la dicotomía de rechazar y aceptar la hipótesis nula. El peligro es que si decimos que "aceptamos" la hipótesis nula, el lenguaje sugiere que la hipótesis nula es verdadera. En cambio, es más seguro decir que "fallamos en rechazar" la hipótesis nula, ya que no hay evidencia estadística suficiente para rechazarla.

Al leer "rechazar" vs "no rechazar" por primera vez, es confuso para los principiantes. Puedes pensarlo como "rechazar" vs "aceptar" en tu mente, siempre y cuando se recuerde que el resultado es probabilístico y que incluso una hipótesis nula "aceptada" todavía tiene una pequeña probabilidad de estar equivocada.

Malas interpretaciones comunes del valor p

Ahora destacaremos algunas interpretaciones erróneas comunes del valor p en los resultados de las pruebas estadísticas.

Hipótesis nula verdadera o falsa

La interpretación del valor p no significa que la hipótesis nula sea verdadera o falsa. Significa que hemos elegido rechazar o no rechazar la hipótesis nula a un nivel de significación estadística específico basado en evidencia empírica y la prueba estadística elegida.

Está limitado a hacer afirmaciones probabilísticas, no afirmaciones binarias nítidas o verdaderas/falsas sobre el resultado.

Valor p como probabilidad

Un malentendido común es que el valor p es una probabilidad de que la hipótesis nula sea verdadera o falsa dados los datos.

En probabilidad, esto se escribiría de la siguiente manera:

Pr(hypothesis | data) 

Esto es incorrecto.

En cambio, el valor p puede considerarse como la probabilidad de los datos dada la suposición pre-especificada incluida en la prueba estadística. Nuevamente, usando la notación de probabilidad, esto se escribiría como:

Pr(data | hypothesis)

Nos permite razonar si los datos se ajustan o no a la hipótesis. No de la otra manera.

El valor p es una medida de la probabilidad de que se observe la muestra de datos si la hipótesis nula fuera cierta.