Teorema Central do Limite

O Teorema Central do Limite afirma que quando o tamanho da amostra aumenta, a distribuição amostral da sua média aproxima-se cada vez mais de uma distribuição normal. 
Vamos tomar um exemplo prático para facilitar o entendimento do teorema:

Seja X=resultado de um dado não viciado, que pode assumir os valores $1, 2, 3, 4, 5, 6$. Sabemos que a esperança populacional é:
$$E(x)=\frac{1+2+3+4+5+6}{6}=3,5$$
Na medida em que lançamos o dado e calculamos a média das amostras eles tendem a serem maiores ou menores do que $3,5$, porém, na medida em que aumentamos as amostras (por exemplo, se lançássemos 10 mil vezes), o valor médio se aproxima cada vez mais de $3,5$. 
A figura abaixo mostra como o aumento do número de lançamentos faz a distribuição dessa média aproxima-se de uma distribuição normal.

Enunciado Formal

Seja uma amostra aleatória simples $(X_{1},X_{2},...,X_{n})$ de tamanho $n$ dada a partir de uma população com média $\mu$ e variância $\sigma^{2}$ finita. À medida que $n$ cresce, a distribuição amostral da média $\frac{\sum_{i=1}^{N}X_{i}}{n}=\bar{X}$ aproxima-se de uma distribuição normal com média $\mu$ e variância $\frac{\sigma^{2}}{n}$