Es el mejor ejemplo de arquitectura militar medieval de Galicia. Construido por Gonzalo Ozores de Ulloa hacia el año 1375, sobre un escarpado acantilado, las orillas del río Pambre que ejerce de defensa natural.
El castillo es de planta cuadrada, rodeado por un muro de planta irregular que se adapta al terreno. Las paredes son mampostería y silla de granito. El edificio central forma la torre, con un plano cuadrado, flanqueado por cuatro más pequeños, también cuadrados, y conectados entre sí por un muro.
En el centro, la torre principal tiene una planta cuadrada, a 11 m de lado y tres pisos. El primero es ciego; la segunda se eleva alrededor de cinco metros del suelo y hay rastros que permiten imaginar un puente que comunica con la pared de la planta, a través de una puerta con un arco apuntado y escudo de armas Ulloa; En el tercer piso hay un gran ventanal de arcos oxívoros. Todas las torres están almenadas en vidrio con ameas en el extremo o triángulo.
Se accede al patio interior por un dintel plano practicado en la pared. En el interior hay un gabinete de cuatro marcos colocado en parte en la cortina exterior. La cortina exterior, adaptada a la configuración del terreno, tiene un grosor de 2 a 2,5 m. Llegando a la puerta a cinco metros. Esta puerta de acceso tiene un arco posterior perfecto con el escudo de armas de la familia Ulloa en la llave. A la derecha de la entrada se encuentra la capilla de San Pedro construida a finales del siglo XII.
El castillo de Pambre era un mito en la lucha contra irmandiña la nobleza de la época, después de lo cual López Ferreiro engrosou con su novela "El castillo de Pambre." Ubicada en Pambre (Palas de Rei, Lugo) fue la única fortaleza que resistió la revuelta irmandiña de 1467.
