En la teoría de procesos estocásticos, el Teorema de Karhunen-Loève (así llamado debido a Kari Karhunen y Michel Loève) es una representación de un proceso estocástico como una combinación lineal infinita de funciones ortogonales. Esta representación es análoga a la representación en series de Fourier de una función definida en un intervalo acotado de números reales. A diferencia de una serie de Fourier, en la cual los coeficientes son números reales y la base de expansión está compuesta por funciones senoidales (es decir, funciones seno y coseno), los coeficientes del teorema de Karhunen-Loève son variables aleatorias y la base de expansión depende del proceso. De hecho, la base de funciones ortogonales que se usa para la representación queda determinada por la función de covarianza del proceso. Si vemos un proceso estocástico como una función aleatoria F es decir, una en la que el valor aleatorio es una función en un intervalo [a, b], entonces este teorema puede considerarse como una expansión ortonormal aleatoria de F.

En el caso de un proceso estocástico centrado {X_t} _{t ∈ [a, b]} (donde centrado se refiere a que los valores esperados E(X_t) están definidos y son iguales a 0 para todo t), el satisfacer una condición de continuidad técnica, admite la descomposición

${\displaystyle \mathbf {X} _{t}=\sum _{k=1}^{\infty }\mathbf {Z} _{k}e_{k}(t).}$

donde Z_k son variables aleatorias no correlacionadas de a pares y las funciones e_k son funciones reales continuas en [a, b], ortogonales de a pares en L²[a, b]. El caso general de un proceso no centrado puede representarse expandiendo la función de expectación (que es un función no-aleatoria) en la base e_k.

Aún más, si el proceso es Gaussiano, entonces las variables aleatorias Z_k son Gaussianas y estocásticamente independientes. Este resultado generaliza la transformada de Karhunen-Loève. Un ejemplo importante de un proceso estocástico real centrado en [0,1] es el proceso de Wiener y el teorema de Karhunen-Loève permite obtener una representación ortogonal canónica de este. En este caso, la expansión consiste de funciones senoidales.

A la expansión anterior en variables aleatorias no correlacionadas se la conoce también como la expansión de Karhunen-Loève.

Formulamos el teorema en el caso de que las variables aleatorias sean reales, aunque el teorema es válido aún para funciones con valores vectoriales.

Si X e Y son variables aleatorias, el producto interno está definido por

${\displaystyle \langle \mathbf {X} |\mathbf {Y} \rangle =\operatorname {E} (\mathbf {X} \mathbf {Y} )}$

El producto interno está bien definido en caso de que X e Y tengan momentos de segundo orden finitos, es decir, que X e Y sean de cuadrado integrable. El producto interno tiene estrecha relación con la covariancia y la correlación. Por ejemplo, para variables aleatorias cuyo valor esperado es nulo, la covariancia y el producto interno son idénticos. Si {X_t}_t es un proceso centrado, la función de covariancia de {X_t}_t es

${\displaystyle \operatorname {Cov} _{\mathbf {X} }(t,s)=\langle \mathbf {X} _{t}|\mathbf {X} _{s}\rangle =\operatorname {Cov} (\mathbf {X} _{t},\mathbf {X} _{s}).}$

Nótese que si {X_t}_t es un proceso centrado y t₁, ≤ t₂, ..., ≤ t_N son puntos en el intervalo [a, b], entonces

${\displaystyle \sum _{k,\ell }\operatorname {Cov} _{\mathbf {X} }(t_{k},t_{\ell })=\operatorname {Var} \left(\sum _{k=1}^{N}\mathbf {X} _{k}\right)\geq 0.}$

Teorema. Consideremos un proceso estocástico {X_t}_t en que el índice t recorre el intervalo [a, b], y con función de covariancia Cov_X. Supongamos además que la función Cov_X(t,s) sea conjuntamente continua en las variables t, s. Entonces Cov_X puede ser considerado como un núcleo positivo definido. Por el Teorema de Mercer, el operador integral T correspondiente que actúa en L²[a,b] (relativo a la medida de Lebesgue en [a,b]) tiene una base ortonormal de vectores propios. Sea {e_i}_i la secuencia de los vectores propios de T correspondientes a los valores propios no nulos y definamos:

${\displaystyle \mathbf {Z} _{i}=\int _{a}^{b}\mathbf {X} _{t}e_{i}(t)dt.}$

Entonces Z_i son variables aleatorias centradas y ortogonales y

${\displaystyle \mathbf {X} _{t}=\sum _{i=1}^{\infty }e_{i}(t)\mathbf {Z} _{i}}$

donde la convergencia es en media cuadrática y uniforme en t. Además

${\displaystyle \operatorname {Var} (\mathbf {Z} _{i})=\operatorname {E} (\mathbf {Z} _{i}^{2})=\lambda _{i}.}$

adonde λ_i es el valor propio correspondiente al vector propio e_i.

En el enunciado del teorema, la integral que define Z_i puede ser definida como el límite en la media de sumas de Cauchy de variables aleatorias:

${\displaystyle \sum _{k=0}^{\ell -1}\mathbf {X} _{\xi _{k}}e_{i}(\xi _{k})(t_{k+1}-t_{k}),}$

donde

${\displaystyle a=t_{0}\leq \xi _{0}\leq t_{1}\leq \cdots \leq \xi _{\ell -1}\leq t_{n}=b}$

Dado que el límite en la media de variables aleatorias Gaussianas conjuntas es Gaussiana conjunta, y dado que las variables aleatorias Gaussiana conjuntas (centradas) son independientes si y solo si son ortogonales, podemos concluir que:

Teorema. Las variables Z_i tienen una distribución Gaussiana conjunta y son estocásticamente independientes si el proceso original {X_t}_t es Gaussiano.

En el caso Gaussiano, dado que las variables Z_i son independientes, podemos agregar:

${\displaystyle \lim _{N\rightarrow \infty }\sum _{i=1}^{N}e_{i}(t)\mathbf {Z} _{i}(\omega )=\mathbf {X} _{t}(\omega )}$

casi seguramente.

Nótese que al generalizar el teorema de Mercer, podemos reemplazar el intervalos [a, b] con otros espacios compactos C y la medida de Lebesgue en [a, b] con una medida de Borel que tenga soporte en C.

Existen varias caracterizaciones equivalentes al proceso de Wiener, que es una formalización matemática de movimiento browniano. Aquí lo veremos cómo el proceso Gaussiano centrado {B_t} con función de covarianza

${\displaystyle \operatorname {Cov} _{\mathbf {B} }(t,s)=\min(s,t).}$

Es sencillo determinar los vectores propios del núcleo de la covarianza. Ellos son

${\displaystyle e_{k}(t)={\sqrt {2}}\sin \left(k-{\frac {1}{2}}\right)\pi t}$

con los siguientes valores propios correspondientes:

${\displaystyle \lambda _{k}={\frac {4}{(2k-1)^{2}\pi ^{2}}}.}$

Esto nos da la siguiente representación del proceso de Wiener:

Teorema. Existe una secuencia {W_i}_i de variables aleatorias Gaussianas independientes con media nula y varianza unitaria tal que:

${\displaystyle \mathbf {B} _{t}={\sqrt {2}}\sum _{k=1}^{\infty }\mathbf {W} _{k}{\frac {\sin \left(k-{\frac {1}{2}}\right)\pi t}{\left(k-{\frac {1}{2}}\right)\pi }}.}$

La convergencia es uniforme en t y en la norma L², es decir

${\displaystyle \operatorname {E} \left(\mathbf {B} _{t}-{\sqrt {2}}\sum _{k=1}^{n}\mathbf {W} _{k}{\frac {\sin \left(k-{\frac {1}{2}}\right)\pi t}{\left(k-{\frac {1}{2}}\right)\pi }}\right)^{2}\rightarrow 0}$

uniformemente en t.

• I. Guikhman, A. Skorokhod, Introduction a la Théorie des Processus Aléatoires, Éditions MIR, 1977
• B. Simon, Functional Integration and Quantum Physics, Academic Press, 1979