Entropía, irreversibilidad y flecha del tiempo según Gibbs

En la Mecánica Clásica, el estado completo de una partícula puede darse mediante sus coordenadas y momentos. Por ejemplo, en tres dimensiones, existen tres coordenadas espaciales y tres momentos conjugados. Si consideramos un espacio de fases de seis dimensiones, un punto en ese espacio representa el estado de una partícula. Una partícula seguirá una trayectoria determinada a través del espacio de fases; es decir, dado el estado completo de la partícula (un punto en el espacio de fases), nuestras ecuaciones de movimiento determinarán la ubicación de la partícula en el espacio de fases en un momento posterior (o incluso anterior). Por lo tanto, las partículas siguen trayectorias determinadas a través del espacio de fases (de seis dimensiones). Estas trayectorias no se intersecan.

Consideremos ahora un gran número de partículas en estados iniciales muy parecidos, aunque no idénticos, por ejemplo en un haz de partículas moviéndose en una misma dirección en un ambiente de muy baja temperatura (esto genera ciertas diferencias en las velocidades iniciales de las partículas). Estas partículas pueden describirse mediante un punto en el espacio de fases por cada partícula. Para un número realmente grande de partículas en un sistema, o si consideramos un conjunto teórico de partículas, el sistema puede describirse como una densidad $\rho(q_{i}, p_{i},t)$ que es función de la posición en el espacio de fases y evolucionará en el tiempo, o más en general: $\rho(X_{1}, X_{2},…,X_{n},t)$. Así, $\rho dX_{1} dX_{2}…dX_{n}$ representará la probabilidad de encontrar en el tiempo t a un miembro del conjunto en el elemento de volumen $dX_{1} dX_{2}…dX_{n}$ del espacio de fases rodeando el estado $(X_{1}, X_{2},…,X_{n})$. Para cada t, la integral de $\rho$ en todo el volumen del espacio de fases: $\int \rho dX_{1} dX_{2}…dX_{n} = 1$.

Este agregado de sistemas en estados inicialmente muy cercanos es lo que Gibbs denominó un ensemble y Ehrenfest llamó posteriormente ensemble estadístico. Un sistema puede ser una sola partícula moviéndose en un potencial o puede ser un gas con ${10}^{23}$ partículas. En el primer caso, el espacio de fases tendrá n=6 dimensiones (las 3 componentes de la posición y las 3 componentes de la velocidad); en el segundo caso, tendrá n = $6 \cdot 10^{23}$ dimensiones. En ambos casos, el ensemble es un conjunto imaginario de copias del sistema, cada una con condiciones iniciales ligeramente distintas. En varios pasajes de su Elementary Principles in Statistical Mechanics (1902) Gibbs utiliza uno u otro ejemplos de ensemble inicial. La dinámica dentro del espacio de fases que comentaremos en lo sucesivo es válida para ambos casos.

Nuestro sistema de n variables evolucionará de acuerdo con n ecuaciones de evolución temporal:

donde $\mathbf{X}\equiv(X_{1}, X_{2},…,X_{n}) \ y \ \lambda \$representa un conjunto de parámetros mediante los cuales el medio externo influye sobre el sistema. Consideraremos que este sistema dinámico es autónomo, esto es, las funciones $F_{i}$ no dependen explícitamente del tiempo t. Si el sistema es un conjunto de N partículas clásicas, el sistema dinámico es hamiltoniano, y las ecuaciones anteriores adoptarían esta forma particular:

$\frac{d\mathbf{q_{i}}}{dt}=\frac{\partial H}{\partial \mathbf{p_{i}}} \\\\ \frac{d\mathbf{p_{i}}}{dt}=-\frac{\partial H}{\partial \mathbf{q_{i}}} \qquad (2) \\\\ i=1,…,3N$

donde $H=H(\mathbf{p,q})=E=constante$, es decir, la energía E se conserva durante el movimiento del sistema.

$\frac{}{}$Para ver cómo evoluciona en el tiempo esa densidad de partículas inicialmente localizada, calcularemos la tasa de cambio de un gran número de partículas en el hipercubo infinitesimal del espacio de fases $dX_{1} dX_{2}…dX_{n}$. Consideremos la cara del cubo $X_{1}=cte$. Los sistemas que entran en el elemento de volumen a través de esa cara durante el intervalo dt están contenidos en el volumen: $\dot{X_{1}}dt dX_{2}…dX_{n}=F_{1}dt dX_{2}…dX_{n}$, y su número será: $\rho (X_{1}, …, X_{n},t) F_{1}dt dX_{2}…dX_{n}$.

El número de sistemas que salen por la cara $X_{1}+dX_{1}=cte$ será la misma expresión pero evaluada en $X_{1}+dX_{1}$:

$\rho (X_{1}+dX_{1}, …, X_{n},t) F_{1}(X_{1}+dX_{1}, …, X_{n})dt dX_{2}…dX_{n} \\\\ = \rho (X_{1}, …, X_{n},t) F_{1}dt dX_{2}…dX_{n} + \frac{\partial \rho}{\partial X_{1}} F_{1}dt dX_{1}dX_{2}…dX_{n}+ \rho \frac{\partial F_{1} }{ \partial X_{1}} dt dX_{1}dX_{2}…dX_{n}$

donde hemos desarrollado por Fourier y despreciado términos de segundo orden.

El mismo razonamiento puede hacerse para los otros contornos del volumen, conduciendo así a la ecuación:

(Cambio de $\rho$ durante dt) $dX_{1}dX_{2}…dX_{n}$ = (Número de sistemas que entran menos número que salen por todas las caras)

O dividiendo todo por $dtdX_{1}dX_{2}…dX_{n}$, el resultado es:

$\frac{\partial \rho}{\partial t} =-\sum_{i=1}^{n} (\frac{\partial \rho }{ \partial X_{i}} F_{i} + \rho \frac{\partial F_{i} }{ \partial X_{i}} ) \qquad (3)$

Si nos centramos ahora en la variación temporal de la densidad $\rho$ mientras el elemento de volumen se va moviendo con las trayectorias, esta variación tendrá una componente explícita, que acabamos de calcular, y otra debida a la dependencia de respecto a las variables $X_{i}$:

$\frac{d \rho}{d t} =\frac{\partial \rho }{ \partial t}+\sum_{i=1}^{n} \frac{\partial \rho }{ \partial X_{i}} \dot{X_{i}} = \frac{\partial \rho }{ \partial t}+\sum_{i=1}^{n} \frac{\partial \rho }{ \partial X_{i}} F_{i} = -\rho \nabla \cdot \mathbf{F} \qquad (4)$

donde la última igualdad de (4) se deduce de (3).

Si evaluamos la divergencia de F para un sistema hamiltoniano tendremos, por (2):

$\nabla \cdot \mathbf{F} =\sum_{i=1}^{n} (\frac{\partial \dot{q_{i}} }{ \partial q_{i}} + \frac{\partial \dot{p_{i}} }{ \partial p_{i}} ) = \sum_{i=1}^{n} (\frac{\partial }{ \partial q_{i}} \frac{\partial H}{\partial p_{i}} – \frac{\partial } { \partial p_{i}}\frac{\partial H}{\partial q_{i}} ) = 0 \qquad (5)$

Concluimos de (4) y (5) que la densidad de sistemas por unidad de volumen no varía en su evolución por el espacio fásico:

$\frac{d \rho}{d t} = \frac{\partial \rho }{ \partial t}+\sum_{i=1}^{n} \frac{\partial \rho }{ \partial X_{i}} F_{i} = 0 \qquad (6)$

Esta es la ecuación de Liouville para sistemas conservativos. El conjunto de trayectorias fásicas se comporta como un fluido incompresible. Cada elemento de volumen inicial puede deformarse durante la evolución temporal pero mantiene su volumen constante.

La interpretación de Gibbs de la entropía

Gibbs explicó el aumento de entropía en procesos irreversibles no como una propiedad fundamental de la dinámica microscópica —que es reversible— sino como una consecuencia del modo en que describimos los sistemas macroscópicos, introduciendo de facto lo que hoy llamamos coarse graining (granulación gruesa), aunque él no usara ese término explícitamente. La clave de su enfoque es que la irreversibilidad no está en las ecuaciones, sino en la descripción estadística.

El punto de partida de Gibbs en 1878 fue que las ecuaciones de Hamilton, es decir la Mecánica Clásica, son reversibles en el tiempo y que el volumen en el espacio de fases se conserva, como demuestra el teorema de Liouville. Boltzmann había dado una fórmula para sistemas en equilibrio: $S = K ln \Omega$, pero solo sirve cuando todos los microestados son equiprobables. Gibbs quería una definición general, válida para sistemas fuera del equilibrio y cualquier situación donde los microestados no tengan la misma probabilidad. Por ejemplo, un sistema de partículas muy juntas en el espacio, que se mueven a velocidades cercanas en un ambiente a baja temperatura, y se dejan evolucionar clásicamente, ocupan al principio lugares muy acotados del espacio de fases. La probabilidad $\rho$ está muy lejos de ser equiprobable, y el sistema está lejos del equilibrio.

Gibbs necesitaba una definición de entropía que le permitiera medir el grado de desorden microscópico de un sistema macroscópico a medida que evoluciona desde estados muy lejanos al equilibrio. Ahora bien, ¿qué propiedades debe cumplir una entropía? Gibbs impuso tres requisitos físicos y matemáticos:

• Debe ser extensiva. Si tienes dos sistemas independientes A y B: $S(A+B) = S(A) + S(B).$Esto descarta casi todas las funciones posibles.
• Debe depender solo de la distribución de probabilidad.
• Debe ser máxima cuando la distribución es uniforme, porque el máximo desorden corresponde a equiprobabilidad.

¿Qué función cumple estas condiciones? La única función que cumple simultáneamente esas propiedades es la forma “$$$-\sum p_i\ln p_i$”, o su versión continua. Este resultado es conocido hoy como el teorema de Shannon–Khinchin, pero Gibbs ya lo había anticipado en 1878.

En continuo, la suma se convierte en integral:

Ahora bien, en la mecánica clásica la expresión anterior es constante en el tiempo pues $\rho$ cumple el teorema de Liouville. Esto crea la llamada paradoja de Loschmidt: ¿cómo puede aumentar la entropía de los sistemas macroscópicos si la dinámica no lo permite? La solución de Gibbs fue:

entropía macroscópica ≠ entropía microscópica

Gibbs distingue entonces entre la distribución fina ($\rho$ exacta), que contiene toda la información microscópica, y la distribución macroscópica efectiva, la que realmente usamos para describir el sistema. El punto crucial es que nunca observamos $\rho$ con resolución infinita.

En un sistema real hay una resolución finita al observar, no conocemos el microestado exacto. Solo sabemos que el sistema pertenece a un macroestado (energía, volumen, número de partículas, etc.). El espacio de fases se particiona en celdas finitas. Aunque Gibbs no usó el término moderno de coarse graining, su razonamiento coincide con ese concepto. Tras hacer esta partición, dentro de cada celda se reemplaza la distribución real por un promedio estadístico, con lo que se pierde información sobre las correlaciones microscópicas finas.

Este procedimiento define una entropía coarse‑grained o de grano grueso para sistemas en equilibrio o en equilibrio local. Gibbs define la entropía para una distribución de probabilidad en el espacio de fases mientras que Boltzmann define la entropía de un macroestado como $S_B = k \ln \Omega$ donde $\Omega$ es el número (o volumen) de microestados compatibles con ese macroestado. A primera vista, parecen conceptos distintos: uno probabilístico, otro combinatorio. Para pasar de la primera a la segunda, en primer lugar se tiene en cuenta que tenemos un conjunto de pequeños hipercubos para distinguir los estados en el espacio de fases, en vez de un continuo. Tras ese coarse graining la expresión (7) se convierte en:

$S_{\text{cg}} = -k \sum_i P_i \ln P_i \qquad (8)$

Suponemos ahora que hemos llegado ya al equilibrio termodinámico. Ante la falta de información microscópica, en estos sistemas en equilibrio se introduce la hipótesis de que todos los microestados compatibles con el macroestado observable tienen la misma probabilidad. Si hay $\Omega$ microestados distinguibles, tenemos:

$P_{i}(\Gamma_{i})= \begin{cases} 1/\Omega & \text{si } \Gamma_{i} \in \text{macroestado} \\\ 0 & \text{en otro caso} \end{cases}$

donde P_i es la probabilidad total en cada celda.

Sustituyendo esa $P_{i}$ en la entropía (8): $S_{eq} = -k \sum_{\Omega} \frac{1}{\Omega}\ln\left(\frac{1}{\Omega}\right) = -k \Omega \frac{1}{\Omega}\ln\left(\frac{1}{\Omega}\right)$

De donde obtenemos la entropía de Boltzmann para el equilibrio termodinámico:

$S_{eq} = -k \ln\left(\frac{1}{\Omega}\right) = k \ln \Omega$

Es decir, la entropía de Gibbs se reduce exactamente a la de Boltzmann cuando:

• hay coarse graining,
• se asume equiprobabilidad dentro del macroestado de equilibrio,
• y la resolución es finita (física).

Esta equivalencia no es un truco matemático; expresa algo esencial:

• Boltzmann mide cuántos microestados no distinguimos.
• Gibbs mide cuánta información hemos perdido al describir el sistema probabilísticamente.
• El coarse graining convierte la ignorancia microscópica en entropía macroscópica.

Fig. Ludwig E. Boltzmann (1844-1906), uno de los primeros defensores de la teoría atómica e iniciador de la Mecánica Estadística

Por qué la entropía aumenta

La dinámica hamiltoniana estira y pliega la distribución en el espacio de fases, a veces siguiendo atractores caóticos, como cuando se trata de 3 o más partículas en interacción gravitatoria o con interacciones colisionales de corta distancia. En todos esos casos de sistemas con muchas partículas en interacción, diferencias pequeñísimas en el estado inicial de los sistemas, o en el paquete de partículas inicialmente juntas en un sistema, generan trayectorias que se separan exponencialmente cuando el tiempo avanza, fenómeno mecánico conocido como inestabilidad dinámica. La distribución fina del conjunto de sistemas iniciales se vuelve filamentosa dentro del espacio de fases, cada vez más compleja, aunque la energía total se conserve.

A escala macroscópica, esas estructuras filamentosas son indistinguibles. De modo que al promediar dentro de los hipercubos macroscópicos que son observables para nosotros dentro de nuestra precisión experimental (coarse graining), la distribución parece más uniforme. El resultado es que la entropía fina permanece constante mientras la entropía coarse‑grained aumenta monótonamente a medida que los filamentos se ramifican alcanzando cada vez más estados posibles del espacio de fases.

Fig. Aunque el microestado evoluciona conservando su volumen (izquierda), observado con una cierta resolución (coarse graining) parece ocupar un volumen cada vez mayor a medida que se ramifica

Fig. Tras el tiempo suficiente, el microestado parece haberse distribuido uniformemente por todas las casillas observables del espacio de fases, ocupando un volumen máximo. A esta situación macroscópica final le llamamos equilibrio termodinámico (derecha) aunque el microestado sigue evolucionando. En verde, el volumen real del microestado, constante. En azul, el volumen coarse-grained observable, creciente.

La irreversibilidad y la flecha del tiempo aparece porque no podemos evitar el coarse graining al observar, con ello perdemos información sobre las correlaciones microscópicas que hay entre las partículas, y no podemos deshacer el coarse graining para predecir ni para volver a la situación inicial. Invertir exactamente todas las velocidades requeriría conocer el microestado con precisión infinita, algo físicamente inalcanzable. En cierto sentido la paradoja de Loschmidt no es física, sino epistemológica. La irreversibilidad surge porque no controlamos ni observamos el microestado completo.

Por otra parte, Poincaré demostró con su teorema de recurrencia que un sistema hamiltoniano finito debe volver, en algún momento, arbitrariamente cerca de su estado inicial. Gibbs no lo niega, pero introduce una distinción crucial: la recurrencia ocurre en el espacio de fases fino, y el coarse graining destruye la posibilidad de reconocer esa recurrencia.

En efecto: si hemos partido de un microestado que hemos observado tiene sus variables acotadas en un pequeño hipercubo macroscópico del espacio de fases (entropía de Boltzman baja), en realidad no conocíamos exactamente el microestado ni siquiera al inicio de la evolución del sistema. Durante su evolución, lo más probable es que la mayoría del tiempo el microestado evolucione ocupando la mayoría de los hipercubos observables compatibles con la energía inicial del microestado, que se conserva. Si se trata de las moléculas de un gas en expansión dentro de una caja a partir de un pequeño cubito inicial de moléculas de energía conocida, la recurrencia a un estado cercano al inicial se producirá probablemente tras un número inimaginable de millones de años, y podría ser reconocida como una fluctuación macroscópica muy extrema y pasajera del estado de equilibrio observado durante millones de años. Nunca será la observación de un microestado preciso, que por definición es inobservable de principio a fin.

La entropía de Gibbs es formalmente idéntica a la entropía de Shannon y en esto Gibbs es sorprendentemente moderno. Esta equivalencia permite reinterpretar la segunda ley como una ley sobre pérdida de información relevante. El aumento de entropía es el precio de describir el mundo de forma macroscópica.

---