# Энтропия
- #π/определение:
- Энтропия — среднее количество информации, получаемое от источника при передаче одного символа сообщения.
- Энтропия характеризует производительность источника и определяется распределением вероятностей передаваемых букв.
- #π/формула:
- $H\left(X_{0}\right)=\sum_{i=1}^{N} p\left(x_{i}\right) J_{i}=\sum_{i=1}^{N} p\left(x_{i}\right) log_{2} p\left(x_{i}\right)$;
- #π/единицы_измерения:
- бит.