¿Cómo se ve la media?

Vamos a graficar la media junto con un histograma. Esto nos ayudará a visualizar dónde está el centro de la distribución.

## <ggplot: (-9223372036545414056)>

Para calcular la media en python con pandas utilizamos el método mean de la columna:

iris["sepal_width"].mean()

## 3.0573333333333337

{% notice info %} Ten en cuenta que a diferencia de la función mean en R, el método .mean de pandas automáticamente elimina los valores faltantes. {% /notice %}

Hay una manera más similar a lo que haríamos en el tidyverse, utilizando el método agg del DataFrame.

El método agg tiene varias formas de usarse. La que parece más flexible consiste en pasar un diccionario en el que los keys o claves son los nombres de las columnas que queremos agregar y los valores son el nombre del método que queremos utilizar. En el ejemplo siguiente, queremos calcular el método mean de la columna sepal_width.

iris.agg({"sepal_width": "mean"})

## sepal_width    3.057333
## dtype: float64

Con un pequeño truco podemos conseguir un resultado incluso más parecido al tidyverse. Si primero utilizamos groupby(lambda _: "") para agrupar artificialmente el DataFrame, podemos acceder a una sintaxis más flexible del método agg.

(iris
  .groupby(lambda _: "")
  .agg(
    sepal_width_mean=("sepal_width", "mean"),
    sepal_width_sum=("sepal_width", "sum"),
    sepal_length_mean=("sepal_length", "mean")))

##   sepal_width_mean  sepal_width_sum  sepal_length_mean
##           3.057333            458.6           5.843333

Aunque es una sintaxis más avanzada, tiene la ventaja de poder asignar un nombre a cada resultado y podemos agregar la misma columna más de una vez. Además, el resultado siempre es un DataFrame, a diferencia de la sintaxis del ejemplo anterior, que a veces devuelve un objeto Series y otras veces un DataFrame, dependiendo de la estructura de los argumentos.

Propiedades de la media

Dada una muestra de tamaño \(n\), \(x_1, x_2, ..., x_n\), se puede demostrar que la media aritmética, \(\bar{X}\) cumple con las siguientes propiedades:

1. Si a una variable le sumamos una constante o la multiplicamos por una constante, tendremos que sumarle o multiplicarle las mismas constantes a la media. Decimos entonces que la media es un Operador lineal. Formalmente, si aplicamos la transformación lineal \(y_i=ax_i+b\) y calculamos la media, obtendremos el resultado \(\bar{Y}=a\bar{X}+b\).

iris["petal_length_plus_one"] = iris["petal_length"] + 1
iris["petal_length_double"] = iris["petal_length"] * 2

iris["petal_length"].mean()

## 3.7580000000000005

iris["petal_length_plus_one"].mean()

## 4.758

iris["petal_length_double"].mean()

## 7.516000000000001

2. La media de una constante es la constante. Formalmente, si \(x_1 = x_2 = ... = x_n = c\), entonces \(\bar{X} = c\).

iris["constant"] = 10
iris["constant"].mean()

## 10.0

3. Si substituímos todos los valores de una variable por su media, el total se mantiene igual. Formalmente:

\[ \sum_{i=1}^{n}x_i = \sum_{i=1}^{n}\bar{X} \]

iris["sepal_width_mean"] = iris["sepal_width"].mean()

iris["sepal_width_mean"].sum()

## 458.59999999999997

iris["sepal_width"].sum()

## 458.6

Media truncada

La media es un estadístico no robusto. Esto quiere decir que sensible a los valores atípicos. Intuitivamente, un valor atípico es un valor que no se parece al resto de los valores en un conjunto de datos por ser muy alto o muy bajo. Volviendo al ejemplo de las calificaciones, si tus notas en la mayoría de las asignaturas están entre 11 y 13, pero obtuviste 20 en matemáticas, ese 20 es un valor atípico, y va a halar el promedio hacia arriba, haciendo que tu promedio de una mejor impresión de lo que es tu rendimiento usual. Una manera de solucionar esto es usar una media truncada, en la que eliminamos cierta fracción de los datos más altos y más bajos. En python utilizamos la función scipy.stats.trim_mean.

from scipy.stats import trim_mean

trim_mean(iris["sepal_width"], 0.2)

## 3.0399999999999996

Media ponderada

En algunos casos, hay observaciones que pesan más que otras. También puedes tener una tabla de frecuencias, especificando cada valor y la frecuencia con la que aparece. En estos casos, debemos tomar en cuenta estos pesos o frecuencias al calcular la media. La fórmula de cálculo es la siguiente:

\[ \bar{X} = \frac{\sum_{j=1}^{m}{f_j * x_j}}{\sum_{j=1}^{m}{f_j}} \]

Donde los \(f_j\) son los pesos o frecuencias de los \(x_i\).

df = pd.DataFrame([
  [1, 10],
  [2, 20],
  [3, 30],
  [4, 40]
  ], columns=["x", "f"])

(df["x"] * df["f"]).sum() / df["f"].sum()

## 3.0

Fíjate cómo la media ponderada es más alta que la media simple porque los valores 3 y 4 tienen más peso que los valores 1 y 2.