El lugar fue escogido por el monje Kūkai a su regreso de China como lugar de enseñanza para el budismo Shingon.[3] El edificio del templo fue construido en 1593 con el nombre de Templo Seigan-ji por Toyotomi Hideyoshi a la muerte de su madre,[4] fue reconstruido en 1861 y recibió su nombre actual en 1869. Buena parte de las habitaciones del templo contienen muchas puertas correderas hechas de pantallas de papel (fusuma) decoradas por el pintor Kanō Tanyū (1602-1764) y por miembros de la escuela Kanō de Kyoto,[4] entre las que destacan la primera, la habitación principal con sus pinturas de grullas y cerca de esta las del Ciruelo y el Sauce que reciben sus nombres por los dibujos en sus puertas.[5] Toyotomi Hidetsugu se suicidó ritualmente (seppuku) en la habitación del Sauce en 1595.[5][Nota 1]
El templo cuenta con multitud de escuelas y una universidad budista en las cercanías.[6] El actual jardín de rocas Banryūtei (蟠龍庭) del templo, completado en 1984 para conmemorar el 1150.º aniversario del ascenso de Kūkai a la meditación eterna, es el más grande de Japón[6] (2340 m²), con 140 piedras de granito traídas de Shikoku[5] (lugar de nacimiento de Kūkai) y distribuidas para sugerir que un par de dragones surgen de las nubes para proteger el templo[4] y arena blanca traída de Kioto. El templo también cuenta con una lujosa sala de audiencias llamada Jodannoma en la que sus paredes de puertas correderas están bañadas en oro y el techo está decorado con flores talladas.[5]
Dado que Kongōbu-ji es el principal templo de la secta Shingon y el Monte Koya se considera el recinto sobre el que tiene autoridad directa, el resto de estructuras y monumentos del monte suelen considerarse parte del complejo del templo. Entre estas estructuras cercanas destacan
Danjo Garan, un lugar sagrado donde se reúnen algunos de los más importantes edificios de la zona como el salón Kondo, la pagoda Konpon Daito y el salón Fudōdō (un Tesoro Nacional de Japón), los mausoleos dedicados a los dos primeros Tokugawa y el Okunoin, el mayor cementerio de Japón con más de 200.000 tumbas y lugar de reposo final de Kukai.
↑El monte Koya era sinónimo de amor entre hombres en Japón hasta el siglo XIX debido a que se supone que el fundador de la escuela Shingon, Kūkai, fue el introductor de las prácticas sobre el amor masculino en Japón tras su regreso de China. Es por eso que Hidetsugu, practicante del shudō, se suicidó en ese lugar junto con sus wakashu obligado por su tío.