Принцип максимума энтропии (ПМЭ) является одним из фундаментальных методов статистической физики и теории информации, применяемым для описания сложных систем в условиях неполной информации о состоянии системы. Его основная идея заключается в выборе такой статистической модели, которая максимально отражает неопределённость или «неупорядоченность» системы при известных ограничениях.
Энтропия S определяется для дискретного множества состояний i системы с вероятностями pi следующим образом:
S = −kB∑ipiln pi,
где kB — постоянная Больцмана, а сумма берётся по всем возможным микросостояниям системы. В более общей теории информации, при нормировании вероятностей, используется безразмерная форма:
H = −∑ipiln pi.
Принцип максимума энтропии утверждает, что среди всех распределений вероятностей, удовлетворяющих известным макроскопическим ограничениям, следует выбрать то, которое максимизирует энтропию S.
Пусть система характеризуется набором наблюдаемых величин {Fj}, чьи средние значения ⟨Fj⟩ известны:
⟨Fj⟩ = ∑ipiFj(i).
Тогда задача поиска оптимального распределения pi формулируется как задача оптимизации с ограничениями:
Максимизировать S = −∑ipiln pi
при условиях:
∑ipiFj(i) = ⟨Fj⟩, ∑ipi = 1.
Используя метод множителей Лагранжа, вводятся множители λj для каждой функции Fj и α для нормировки. Функционал Лагранжа принимает вид:
ℒ = −∑ipiln pi − α(∑ipi − 1) − ∑jλj(∑ipiFj(i) − ⟨Fj⟩).
Дифференцирование по pi даёт:
$$ \frac{\partial \mathcal{L}}{\partial p_i} = -\ln p_i - 1 - \alpha - \sum_j \lambda_j F_j^{(i)} = 0, $$
что приводит к известному экспоненциальному виду распределения:
$$ p_i = \frac{1}{Z} \exp\left(-\sum_j \lambda_j F_j^{(i)}\right), $$
где нормирующий множитель Z определяется как функция partition function:
Z = ∑iexp (−∑jλjFj(i)).
Принцип максимума энтропии тесно связан с классической термодинамикой. Если единственным известным макроскопическим параметром является средняя энергия ⟨E⟩, экспоненциальное распределение превращается в каноническое распределение Больцмана:
$$ p_i = \frac{1}{Z} \exp\left(-\beta E_i\right), $$
где β = 1/kBT, T — температура, а Z — каноническая функция состояния:
Z = ∑iexp (−βEi).
Таким образом, ПМЭ естественным образом воспроизводит стандартные распределения статистической механики — микроканоническое, каноническое и макроканоническое.
Нелокальная статистика и сложные сети: В сложных сетях ПМЭ используется для определения вероятностей соединений между узлами при известных средних степенях или других структурных характеристиках.
Биологические системы: В биофизике принцип максимума энтропии применяют для восстановления распределений белковых конформаций или частот нуклеотидов в геномах при известных статистических закономерностях.
Обработка информации и машинное обучение: В теории информации ПМЭ лежит в основе моделей, где минимальные предположения о данных приводят к оптимальному распределению вероятностей, что напрямую используется в максимальной правдоподобной оценке и регулятивах.