Теория больших отклонений (ТБО) является фундаментальным инструментом для количественного описания редких событий в статистической физике, теории информации и смежных областях. В физике информационных процессов она позволяет связывать вероятностные свойства макроскопических систем с энтропийными и информационными характеристиками. Основная цель ТБО — оценка вероятности наблюдения значительных отклонений случайной величины от её среднего значения в пределе большого числа испытаний.
Пусть X1, X2, …, Xn — независимые и одинаково распределённые случайные величины с математическим ожиданием ????[Xi] = μ. Определим среднее значение за n наблюдений:
$$ \bar{X}_n = \frac{1}{n}\sum_{i=1}^n X_i. $$
Для n → ∞ вероятность того, что X̄n значительно отличается от μ, описывается асимптотикой:
Pr (X̄n ≈ x) ∼ e−nI(x),
где I(x) — функция скорости (rate function), задающая экспоненциальный характер редких событий. Эта функция является центральным объектом теории больших отклонений и тесно связана с понятием энтропии в физике.
Функция скорости I(x) тесно связана с кросс-энтропией и дивергенцией Кульбака–Лейблера. Если рассматривать распределение вероятностей p(x) реальной системы и q(x) аппроксимирующее, то дивергенция Кульбака–Лейблера:
$$ D_{\rm KL}(p \| q) = \sum_x p(x) \log \frac{p(x)}{q(x)} $$
определяет «стоимость информации» при наблюдении редких событий. В контексте больших отклонений вероятность редких макроскопических состояний пропорциональна $\exp(-n D_{\rm KL})$, что напрямую связывает статистические редкости с информационной мерой несоответствия.
Ключевой момент: теория больших отклонений предоставляет мост между энтропийным описанием термодинамики и вероятностным подходом информационной теории. Редкие события в физической системе можно рассматривать как сообщения с высокой информационной нагрузкой.
Для точного описания редких событий вводят генератор функции моментов (cumulant generating function):
Λ(k) = ln ????[ekX],
где k — параметр, аналогичный «температуре» в формализме термодинамики. Функция скорости I(x) связана с Λ(k) через преобразование Лежандра:
I(x) = supk ∈ ℝ[kx − Λ(k)].
Это ключевое соотношение показывает глубокую связь ТБО с вариационными принципами и энтропийными методами.
Пример: для независимых биномиальных величин с вероятностью успеха p функция скорости имеет вид:
$$ I(x) = x \ln \frac{x}{p} + (1-x)\ln \frac{1-x}{1-p}, $$
что совпадает с дивергенцией Кульбака–Лейблера между распределениями x и p. Таким образом, редкие отклонения от среднего в биномиальном процессе имеют строгую информационную интерпретацию.
Термодинамика малых систем. Для систем с конечным числом частиц редкие флуктуации температуры или энергии описываются с помощью теории больших отклонений, что позволяет обоснованно вводить понятие микроканонического ансамбля.
Квантовые информационные процессы. В квантовой статистике вероятность наблюдения нетипичного состояния системы также подчиняется законам больших отклонений. Функция скорости здесь связана с квантовой энтропией фон Неймана.
Системы со сложной структурой. В сетях и распределённых системах редкие события (например, перегрузка трафика или спонтанные перестройки) анализируются через ТБО, где функция скорости играет роль меры информации, необходимой для предсказания этих событий.
В информационной физике редкое событие несёт большое количество информации, поскольку его вероятность мала. Формально, если p(x) ∼ e−nI(x), информационная мера события x задаётся как:
H(x) = −ln p(x) ≈ nI(x).
Таким образом, теория больших отклонений позволяет количественно связывать редкость событий с информационной энтропией, создавая фундамент для статистического анализа информации в физических системах.
Для стационарных процессов ТБО применяется в классической форме, но для нестационарных систем (с временной зависимостью параметров) используют динамическую теорию больших отклонений. В этом случае рассматривается траектория системы X(t), и вероятность отклонений от типичного поведения выражается через функционалы действия:
Pr [X(t) ≈ ϕ(t)] ∼ e−nS[ϕ(t)],
где S[ϕ] — динамическая функция скорости, аналогичная действию в механике. Это создаёт глубокую связь между механикой, статистикой и информационной теорией.
Теория больших отклонений не просто математический инструмент: она формализует идею того, что редкие события — это носители ключевой информации о физических системах, связывая вероятностный и информационный подходы в единую концепцию.