Энтропия — фундаментальное понятие, лежащее в основе статистической физики и термодинамики. В классической термодинамике энтропия рассматривается как мера необратимости процессов и характеризует степень рассеяния энергии в системе. В статистической физике энтропия описывает количество микросостояний, совместимых с данным макросостоянием.
Формула Больцмана
S = kBln Ω,
где S — энтропия, kB — постоянная Больцмана, Ω — число микросостояний системы, приводит понятие энтропии к статистическому основанию. Это выражение показывает, что чем больше число допустимых микроскопических конфигураций системы при фиксированных макроскопических параметрах (энергия, объем, число частиц), тем выше энтропия.
Для макроскопических систем при равновесии энтропия достигает максимума при заданных ограничениях. Это максимальное значение соответствует наиболее вероятному состоянию.
Основные свойства энтропии включают:
Аддитивность: для двух независимых подсистем энтропия полной системы равна сумме энтропий подсистем:
Stotal = S1 + S2.
Монотонность: при адиабатическом необратимом процессе энтропия увеличивается:
ΔS > 0,
а при обратимом остаётся постоянной:
ΔS = 0.
Связь с теплотой: при обратимом процессе:
$$ dS = \frac{dQ_{\text{rev}}}{T}, $$
где dQrev — количество теплоты, подведённое к системе при температуре T.
В рамках канонического распределения для системы с функцией распределения вероятностей {pi}, энтропия определяется как:
S = −kB∑ipiln pi.
Это выражение, известное как энтропия Гиббса-Шеннона, применяется как в физике, так и в теории информации.
В микроканоническом ансамбле, где все допустимые микросостояния равновероятны (pi = 1/Ω), формула переходит в выражение Больцмана. Таким образом, статистическая интерпретация охватывает термодинамическое определение энтропии как количественной меры неупорядоченности.
В каноническом ансамбле с функцией распределения Больцмана:
$$ p_i = \frac{e^{-\beta E_i}}{Z}, $$
где Z = ∑je−βEj — статистическая сумма, энтропия может быть записана в форме:
S = kB(ln Z + β⟨E⟩).
Энтропия в теории информации была введена Клодом Шенноном и совпадает по формальному выражению с энтропией в статистической механике:
H = −∑ipilog2pi.
Здесь H — информационная энтропия в битах, pi — вероятность события. Это измеряет среднее количество информации, необходимое для описания случайной величины. Высокая энтропия соответствует большей неопределённости.
В физике интерпретация энтропии как меры недоступной информации о микросостоянии системы усиливает связь между термодинамикой и теорией информации. Если известна точная микроконфигурация — энтропия равна нулю. Если доступна только информация о макроскопических параметрах — энтропия велика.
Квантовомеханический аналог энтропии — энтропия фон Неймана:
S = −kB Tr(ρ̂ln ρ̂),
где ρ̂ — матрица плотности квантовой системы. Это выражение определяет меру квантовой неопределённости или смешанности состояния. Чистое состояние (ρ̂2 = ρ̂) имеет нулевую энтропию, в то время как смешанное — положительную.
Квантовая энтропия широко используется в квантовой информации, квантовой оптике, при описании декогеренции и запутанности. Например, энтропия подсистемы в чистом запутанном состоянии эквивалентна энтропии запутанности.
Во многих физических системах важную роль играет продукция энтропии — мера генерации энтропии в результате необратимых процессов. Для открытых термодинамических систем, обменивающихся энергией и веществом с окружением, уравнение баланса энтропии записывается как:
$$ \frac{dS}{dt} = \sigma + \Phi, $$
где σ — продукция энтропии внутри системы (всегда σ ≥ 0), Φ — поток энтропии через границу системы (может быть как положительным, так и отрицательным).
Связь с информацией проявляется в том, что энтропия описывает потерю доступной информации о системе по мере её эволюции. Например, в процессе релаксации после флуктуации система теряет информацию о начальном отклонении и стремится к равновесному, более вероятному состоянию.
Понятие информации в физике часто связывается с возможностью различения состояний. Чем выше информация, тем меньше энтропия. Информация и энтропия — два аспекта одной и той же структуры: информация есть мера порядка, энтропия — мера беспорядка.
Физическая информация может быть определена как:
I = Sмакс − S,
где Sмакс — энтропия при максимальной неопределённости. Таким образом, информация — это «недостающая» энтропия, которая ещё может быть реализована.
Эта точка зрения важна в физике вычислений и квантовой информатики, где рассматриваются фундаментальные ограничения на хранение, передачу и удаление информации. Согласно принципу Ландауэра, удаление одного бита информации приводит к росту энтропии системы на:
ΔS = kBln 2,
что сопровождается минимальным выделением тепла:
Q = kBTln 2.
Это связывает термодинамику с логикой и обработкой информации на самом фундаментальном уровне.
Существуют обобщения понятия энтропии, применяемые в различных физических контекстах:
Энтропия Реньи:
$$ S_\alpha = \frac{1}{1 - \alpha} \ln \sum_i p_i^\alpha, $$
где α > 0, α ≠ 1. При α → 1 переходит в энтропию Шеннона. Применяется в квантовой теории информации, теории хаоса и фрактальной геометрии.
Цугавая энтропия (Tsallis entropy):
$$ S_q = k_B \frac{1 - \sum_i p_i^q}{q - 1}, $$
используется при описании нелинейных, неэкстенсивных систем, включая плазму, гравитирующие системы, турбулентность.
Энтропия Колмогорова-Синая в динамических системах измеряет скорость генерации новой информации и характеризует степень хаотичности траекторий в фазовом пространстве.
Энтропия лежит в основе второго начала термодинамики, которое можно рассматривать как статистическое следствие законов микродинамики и большого числа степеней свободы. Этот принцип фундаментален и в квантовой теории, где он реализуется в виде тенденции к убыванию квантовой когерентности и росту смешанности состояния.
Кроме того, энтропия тесно связана с понятием времени: стрелу времени можно определить как направление увеличения энтропии. Этот подход используется в космологии и при обсуждении происхождения времени в фундаментальной физике.
В гравитационной физике энтропия приобретает геометрическую интерпретацию: согласно формуле Бекенштейна-Хокинга, энтропия чёрной дыры пропорциональна площади её горизонта событий:
$$ S = \frac{k_B c^3 A}{4 G \hbar}. $$
Эта формула объединяет квантовую механику, гравитацию и термодинамику, указывая на глубокую информационную природу физических законов.