El grupo especial ortogonal (o grupo ortonormal especial), abreviado usualmente ${\displaystyle \scriptstyle \mathrm {SO} (n)}$, es un grupo de Lie que puede ser representado como un subgrupo del grupo ortogonal ${\displaystyle \scriptstyle O(n)\;}$. El grupo real SO(n) se puede identificar con el grupo de rotaciones del espacio ${\displaystyle \scriptstyle \mathbb {R} ^{n}}$.

El grupo especial ortogonal ordinariamente se toma como real, es decir, ${\displaystyle \scriptstyle \mathrm {SO} (n)=\mathrm {SO} (n,\mathbb {R} )}$ aunque también se han definido generalizaciones complejas ${\displaystyle \scriptstyle \mathrm {SO} (n,\mathbb {C} )}$.

1. ${\displaystyle \mathrm {SO} (n)}$ tiene dimensión ${\displaystyle n(n-1)/2\,}$.
2. ${\displaystyle \mathrm {SO} (n)}$ es conexo.

El grupo especial ortogonal real, puede identificarse con el grupo de rotaciones del plano euclídeo. Y por tanto se trata de un grupo de Lie unidimensional. Existen varias representaciones de este grupo:

1. SO(2) puede identificarse con el círculo unidad ${\displaystyle S^{1}\;}$ con la operación: ${\displaystyle t+s\ {\mbox{mod}}\ 2\pi \;}$ donde ${\displaystyle s,t\in [0,2\pi )}$
2. SO(2) puede identificarse con los números complejos de módulo unidad de la forma ${\displaystyle e^{i\theta }\;}$
3. SO(2) es isomorfo a U(1), y por tanto identificable con él.
4. Finalmente SO(2) admite representación como matrices 2x2 de la forma:

${\displaystyle {\begin{bmatrix}\cos \theta &-\sin \theta \\\sin \theta &\cos \theta \end{bmatrix}}}$

Este grupo es no es simplemente conexo, su grupo recubridor universal es ${\displaystyle (\mathbb {R} ,+)}$.

Este grupo es isomorfo al grupo de rotaciones del espacio euclídeo tridimensional y es representable por el conjunto de matrices ortogonales de 3x3 y con determinante igual la unidad.

Admite además de la representación como conjunto de matrices ortogonales de determinante uno, una representación basada en el álgebra de los cuaterniones.

De hecho cada uno de los subgrupos tridimensionales de las rotaciones isoclínicas de SO(4) puede ser identificado con el conjunto de los cuaterniones unitarios de la forma:

${\displaystyle e^{i\alpha +j\beta +k\gamma }=\cos({\sqrt {\alpha ^{2}+\beta ^{2}+\gamma ^{2}}})+\sin({\sqrt {\alpha ^{2}+\beta ^{2}+\gamma ^{2}}}){\frac {i\alpha +j\beta +k\gamma }{\sqrt {\alpha ^{2}+\beta ^{2}+\gamma ^{2}}}}}$

Siendo α, β y γ números reales.

Este grupo resulta ser isomorfo al grupo multiplicativo de los complejos ${\displaystyle (\mathbb {C} ^{*},\cdot )}$. Topológicamente pueden ser representados por el plano complejo al que se le ha quitado el punto de origen (z = 0) y por tanto es un grupo conexo aunque no simplemente conexo.

Estos grupos constituyen una generalización de los grupos SO(n) reales, algunos de los cuales resultan útiles en física por ejemplo el grupo SO(3,1) puede identificarse con un subgrupo del grupo de Lorentz especial que aparece en la teoría de la relatividad especial. Una propiedad interesante es de los grupos SO(p,q) generales es que no son conexos, por ejemplo el grupo de SO(3,1) incluye dos componentes SO⁺(3,1), formado por todas las transformaciones de Lorentz que no incluyen inversiones temporales o espaciales, y SO^-(3,1) formado por transformaciones de Lorentz que incluyen inversión temporal y espacial simultáneas (sólo el primero de ellos es un subgrupo de SO(3,1)). Se tiene la siguiente cadena de inclusiones:

${\displaystyle \mathrm {SO} (3)\subset \mathrm {SO} ^{+}(3,1)\subset \mathrm {SO} (3,1)\subset [\mathrm {SO} ^{+}(3,1)\cup \mathrm {SO} ^{-}(3,1)]\subset \mathrm {O} (3,1)=\mathrm {G_{Lorentz}} }$

Donde el último grupo es precisamente el grupo de Lorentz.