Primer intento: promediar los desvíos

Un enfoque intuitivo es promediar las diferencias de cada valor con la media:

\[ \frac{\sum_{i=1}^{n}(x_i-\bar{X})}{n} \]

A la expresión \((x_i-\bar{X})\) se le conoce como desvío. Es decir, podemos leer la fórmula como la suma de los desvíos dividida entre el tamaño de la muestra.

El problema con esto es que siempre es cero (y en la universidad lo vas a tener que demostrar… ¡SUSTO!).

iris %>% 
  summarise(
    sepal_length_md = mean(sepal_length - mean(sepal_length))
  )

## # A tibble: 1 x 1
##   sepal_length_md
##             <dbl>
## 1       -3.67e-16

Desviación media

Tenemos que solucionar el problema del cero. Lo que sucede es que los desvíos positivos (cuando \(x_i > \bar{X}\)) se cancelan con los desvíos negativos (cuando \(x_i < \bar{X}\)). Una solución lógica es hacer que todos sean positivos y entonces promediamos. Esto lo logramos utilizando el valor absoluto de los desvíos. A esta medida la llamamos desviación media:

\[ DM = \frac{\sum_{i=1}^{n}|x_i-\bar{X}|}{n} \]

Entre las funciones por defecto de R, no hay una con la que podamos calcular directamente la Desviación Media, pero eso no impide que hagamos el cálculo:

iris %>% 
  mutate(
    deviations = sepal_length - mean(sepal_length),
    absolute_deviations = abs(deviations)
  ) %>% 
  summarise(
    sepal_length_md = mean(absolute_deviations)
  )

## # A tibble: 1 x 1
##   sepal_length_md
##             <dbl>
## 1           0.688

Es decir, en promedio los valores están a 0.688 unidades de la media.

Entonces ¿fin de la historia, no? Pues desafortunadamente, no. Aunque la desviación media tiene la ventaja de ser fácilmente interpretable, el valor absoluto es una función con una característica matemática que la hace no tan deseable. Esta propiedad hace que sea difícil construir más métodos sobre la Desviación Media, y por esto su uso no es tan frecuente.

Varianza

Una alternativa a tomar el valor absoluto es elevar los desvíos al cuadrado. El resultado es lo que se conoce como Varianza y se representa con \(S^2\)

\[ S^2=\frac{\sum_{i=1}^{n}(x_i-\bar{X})^2}{n} \]

Con la varianza ganamos en propiedades matemáticas pero es menos interpretable ¿Por qué es más utilizada que la desviación media? En primer lugar, porque hay un montón de métodos estadísticos más avanzados que utilizan la suma de los desvíos al cuadrado, así que se prefiere utilizar siempre el mismo principio para medir la dispersión. En segundo lugar pues simplemente por tradición o convención.

Asombrosamente, en R tampoco hay una función para calcular la varianza. Esto se debe a que se prefiere cambiar el denominador por \(n-1\) en lugar de \(n\), nuevamente por propiedades matemáticas. A este estadístico se le conoce como Cuasi-varianza y se denota con \(\hat{S}^2\):

\[ \hat{S}^2=\frac{\sum_{i=1}^{n}(x_i-\bar{X})^2}{n-1} \]

iris %>% 
  summarize(
    sepal_length_var = var(sepal_length)
  )

## # A tibble: 1 x 1
##   sepal_length_var
##              <dbl>
## 1            0.686

iris %>% 
  mutate(
    petal_length_plus_one = petal_length + 1,
    petal_length_double = petal_length * 2
  ) %>% 
  summarise(
    petal_length_var = var(petal_length),
    petal_length_plus_one_var = var(petal_length_plus_one),
    petal_length_double_var = var(petal_length_double),
  )

## # A tibble: 1 x 3
##   petal_length_var petal_length_plus_one_var petal_length_double_var
##              <dbl>                     <dbl>                   <dbl>
## 1             3.12                      3.12                    12.5

library(purrr)
library(ggplot2)

mean_petal_length = mean(iris$petal_length)
min_petal_length = mean_petal_length - 3
max_petal_length = mean_petal_length + 3

alpha_values <- seq(min_petal_length, max_petal_length, length.out = 100)
alpha_values <- c(mean(iris$petal_length), alpha_values)
  

ss <- map_df(alpha_values, function(.alpha) {
  iris %>% 
    summarise(
      ss = sum((petal_length - .alpha) ^ 2)
    ) %>% 
    mutate(alpha = .alpha)
})

ggplot(ss, aes(x = alpha, y = ss)) + 
  geom_line() +
  geom_vline(aes(colour = "mean", xintercept = mean_petal_length), 
             linetype = "dashed") +
  ggtitle("Suma de desvíos al cuadrado con respecto a distintos valores") +
  labs(y = "Suma de desvíos al cuadrado", colour = "", x = expression(alpha))

constant <- c(1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1)
var(constant)

## [1] 0

Desviación típica

La varianza y cuasi-varianza tienen el problema de estar expresadas en las mismas unidades de la variable original ¡pero al cuadrado! Por ejemplo, sepal_length está medida en centímetros, por lo tanto, la varianza que acabamos de calcular está en centímetros cuadrados. Una solución es sacar la raíz cuadrada. A estos nuevos estadísticos se les conoce como Desviación típica o Cuasi-desviación típica, según sea el caso.

Desviación típica \[ S=\sqrt{S^2} \]

Cuasi-desviación típica \[ \hat{S}=\sqrt{\hat{S}^2} \]

En R, utilizamos sd para calcular la cuasi-desviación típica No hay una función para calcular la desviación típica por los mismos motivos que no hay una para calcular la varianza.

iris %>% 
  summarize(
    sepal_length_sd = sd(sepal_length)
  )

## # A tibble: 1 x 1
##   sepal_length_sd
##             <dbl>
## 1           0.828

¿Cómo se ve la dispersión?

Vamos a comparar la desviación típica de sepal_length para las distintas species:

iris %>% 
  group_by(species) %>% 
  summarise(sepal_length_sd = sd(sepal_length))

## # A tibble: 3 x 2
##   species    sepal_length_sd
##   <fct>                <dbl>
## 1 setosa               0.352
## 2 versicolor           0.516
## 3 virginica            0.636

Según este resultado, las flores setosa son más parecidas entre sí que las otras dos especies porque tienen una cuasi-desviación típica menor. Esto se puede apreciar al graficar el histograma para cada especie:

library(ggplot2)

iris %>% 
  ggplot() +
  geom_histogram(aes(x = sepal_length), binwidth = 0.25, colour = 'lightgrey') + 
  facet_grid(species ~ .)

Vemos cómo los valores de sepal_length de las setosa están más concentrados en el medio del histograma, mientras que en el otro extremo tenemos que para las virginica, los valores están más dispersos.

Conclusión

Las medidas de dispersión no son muy populares fuera de las clases de estadística por la complejidad de su interpretación, pero son necesarias al tratar de resumir las características de un conjunto de datos en unos pocos números. Por regla general, acompaña cualquier medida de tendencia central con una o más medidas de dispersión y con gráficos Hay otras medidas de dispersión que vale la pena explorar como el coeficiente de variación, el rango intercuartílico o el coeficiente de Gini, pero las dejaremos para otro post para no complicar este más de lo necesario.