Sulla data di costruzione del castello di Casaluce c'è una disputa storica che prevede uno scarto di trent'anni. Secondo lo studio dell'abate celestino Padre Donato Polieni da Siderno la data di costruzione è ricondotta al 1060 mentre secondo padre Andrea Costa la data di costruzione è relativa al 1030. Secondo un'indagine storica la seconda è quella più accreditata, in quanto nel 1060 esisteva una relativa pace tra Roberto il Guiscardo e Riccardo I di Aversa, alleati contro il papato. Secondo padre Polieni il fondatore del castello è Roberto il Guiscardo mentre per padre A. Costa il fondatore è Rainulfo Drengot, stavolta l'enigma viene sciolto pensando che il Guiscardo in quel periodo fu impegnato nella guerriglia contro i bizantini che tentavano di riconquistare le Puglie e quindi la costruzione è da ricondurre al primo insediamento e cioè a quello relativo a Rainulfo Drengot.

Il castello si presentava come maestoso complesso di tufo, dalla forma perfetta, ampia, quadrata, alta, senza porte e finestre con un enorme fossato riempito di acqua del vicino fiume Clanio e immerso in un bosco di querce e pioppi. Artificioso nella sua architettura e per le sue cinque torri, quattro negli angoli e un maschio centrale, dall'assenza di finestre e caratterizzato dai grossi merli, dagli ampi locali interni adibiti a dormitori, a sala di giustizia, a scuderie, armerie per le guarnigioni e nei sotterranei, le prigioni e i magazzini. Aveva lunghezza di 270 palmi, di altezza 100 palmi ed il perimetro di 1080 palmi. Il fossato da sud a ovest largo 45 palmi e alto 30 palmi sorpassato da un ponte levatoio centrale alle mura ovest, largo 65 palmi e alto 12 palmi.

Inoltre la fortezza possedeva delle cave sotterranee ai torrioni e ad altre stanze che davano accesso ad uscite segrete che portavano in luoghi lontani e diversi, in caso di bisogni, di incidenti di guerra, oppure d'assedio. Le suddette dimensioni corrispondono a quelle della struttura odierna che nel XIII secolo sembrava più riferibile ad una residenza di età svevo-angioina che ad una struttura belligerante dei primi dell'XI secolo dovuto ai cambiamenti apportati con la trasformazione in monastero.