Una matriz ortogonal es una matriz cuadrada cuya matriz inversa coincide con su matriz traspuesta. El conjunto de matrices ortogonales constituyen una representación lineal del grupo ortogonal ${\displaystyle \scriptstyle O(n,\mathbb {R} )}$.

Geométricamente, las matrices ortogonales representan transformaciones isométricas en espacios vectoriales reales^[1]​ (o más exactamente espacios de Hilbert reales) llamadas justamente, transformaciones ortogonales. Estas transformaciones son isomorfismos internos del espacio vectorial en cuestión. En el caso real, dichas transformaciones pueden ser rotaciones, reflexiones especulares o inversiones y son usadas extensivamente en computación gráfica. Por sus propiedades, también son usadas para el estudio de ciertos fibrados y en física se las usa en el estudio del movimiento de cuerpos rígidos y en la formulación de ciertas teorías de campos.

Sea ${\displaystyle n}$ un número natural y sea ${\displaystyle A}$ una matriz cuadrada ${\displaystyle n}$ por ${\displaystyle n}$, con entradas reales. Se dice que la matriz es ortogonal si:

${\displaystyle A\cdot A^{\mathrm {T} }=I}$

donde ${\displaystyle A^{\mathrm {T} }}$ representa la matriz traspuesta de ${\displaystyle A}$ e ${\displaystyle I}$ representa la matriz identidad.

Supongamos que la matriz de números reales

${\displaystyle M={\begin{pmatrix}a&b\\c&d\end{pmatrix}},}$

es ortogonal y su determinante es +1 o -1.

${\displaystyle {\begin{pmatrix}a&b\\c&d\end{pmatrix}}{\begin{pmatrix}a&c\\b&d\end{pmatrix}}={\begin{pmatrix}1&0\\0&1\end{pmatrix}},}$

Por lo que: ${\displaystyle a^{2}+b^{2}=1,\quad ac+bd=0,\quad c^{2}+d^{2}=1}$

Así que los números ${\displaystyle a}$, ${\displaystyle b}$ , ${\displaystyle c}$ y ${\displaystyle d}$ satisfacen, además, la propiedad que la suma de sus cuadrados vale 1. Por lo tanto, existen un par de números reales ${\displaystyle \theta }$ y ${\displaystyle \phi }$ para los cuales

${\displaystyle a=\cos \theta \quad b=\operatorname {sen} \theta \quad c=\operatorname {sen} \phi \quad d=\cos \phi .}$

Por lo tanto, sustituyendo en ${\displaystyle ac+bd=0}$ queda: ${\displaystyle \cos \theta \operatorname {sen} \phi +\operatorname {sen} \theta \cos \phi =0}$

Y ${\displaystyle \tan \phi =-\tan \theta }$. Entonces, se cumple que ${\displaystyle \operatorname {sen} \phi =-\operatorname {sen} \theta }$ o ${\displaystyle \cos \phi =-\cos \theta }$

Concluimos que toda matriz ortogonal de tamaño 2 puede escribirse como

${\displaystyle M_{1}={\begin{pmatrix}\,\,\,\,\,\cos \theta &\operatorname {sen} \theta \\-\operatorname {sen} \theta &\cos \theta \end{pmatrix}}}$

con ${\displaystyle \theta }$ real y

${\displaystyle M_{2}={\begin{pmatrix}\cos \phi &\,\,\,\,\,\operatorname {sen} \phi \\\operatorname {sen} \phi &-\cos \phi \end{pmatrix}}}$ con ${\displaystyle \phi }$ real

Sea ${\displaystyle A}$ una matriz ortogonal ${\displaystyle n}$ por ${\displaystyle n}$. Sean ${\displaystyle \mathbf {v} _{1}}$, ${\displaystyle \mathbf {v} _{2}}$, ${\displaystyle \cdots }$ ${\displaystyle \mathbf {v} _{n}}$ los ${\displaystyle n}$ vectores fila de la matriz. En término de estos vectores, es muy fácil expresar los elementos de la matriz que resulta de multiplicar ${\displaystyle A}$ por su transpuesta:

${\displaystyle (A\cdot A^{\mathrm {T} })_{ij}=\mathbf {v} _{i}\cdot \mathbf {v} _{j}=\delta _{ij}={\begin{cases}1&{\mbox{si }}i=j,\\0,&{\mbox{si }}i\neq j\end{cases}}}$

De modo que los vectores fila de una matriz ortogonal forman un conjunto de ${\displaystyle n}$ vectores ortonormales. Puesto que la ecuación

${\displaystyle A^{\mathrm {T} }\cdot A=I}$

también se verifica, tenemos que los vectores columna de la matriz ${\displaystyle A}$ también forman un conjunto ortonormal de vectores. Como el recíproco de todo esto también es cierto, tenemos

Una matriz real ${\displaystyle A}$ es ortogonal si y sólo si sus vectores filas o vectores columna son cada uno un conjunto ortonormal de vectores.

Es en este sentido que se dice que se ha hecho una caracterización de las matrices ortogonales. Dada una matriz, basta verificar esta propiedad entre sus vectores fila y columna para determinar si dicha matriz es o no ortogonal.

• De la definición, es inmediato que si una matriz es ortogonal, la matriz es no singular o invertible y su transpuesta coincide con su inversa
• El determinante de una matriz ortogonal ${\displaystyle A}$ es +1 o -1. En efecto, de las propiedades del determinante tenemos

${\displaystyle \det(A\cdot A^{\mathrm {T} })=\det A\ \det A^{\mathrm {T} }=\det A\ \det A=(\det A)^{2}=\det I=1,}$

y por tanto,

${\displaystyle \det A=\pm 1.}$

• El conjunto de matrices ${\displaystyle n\times n}$ ortogonales, junto con la operación de producto de matrices es un grupo llamado grupo ortogonal O(n). Supongamos que ${\displaystyle A}$ y ${\displaystyle B}$ son matrices ortogonales y sea ${\displaystyle C}$ igual al producto de ${\displaystyle A}$ por ${\displaystyle B}$. Usando las propiedades del producto de matrices, tenemos

y así, el producto de matrices ortogonales es una matriz ortogonal.

• En teoría de grupos, al grupo de matrices ortogonales ${\displaystyle n}$ por ${\displaystyle n}$ con coeficientes en el cuerpo ${\displaystyle \mathbb {K} }$ se denomina grupo ortogonal de dimensión ${\displaystyle n}$ y se representa con ${\displaystyle \mathrm {O} (n,\mathbb {K} )}$. En particular el subgrupo formado por las matrices ortogonales de determinante +1, se llama grupo especial ortogonal y se le representa con ${\displaystyle \mathrm {SO} (n,\mathbb {K} )}$. Entre las matrices ortogonales se encuentran las matrices de rotación y las de permutación. Cuando el cuerpo es el de los reales ${\displaystyle \mathbb {K} =\mathbb {R} }$ entonces se escribe simplemente ${\displaystyle \mathrm {O} (n):=\mathrm {O} (n,\mathbb {R} )}$ y ${\displaystyle \mathrm {SO} (n):=\mathrm {SO} (n,\mathbb {R} )}$.

• Para profundizar sobre este tema y en general sobre álgebra, puede consultar

G. Birkhoff, S MacLane, Álgebra Moderna, ed. Vicens-Vives, Madrid 1980. ISBN 84-316-1226-6