Il castello sorge su uno sperone roccioso a 880 m. sul livello del mare.

La costruzione del castello, secondo lo storiografo Giaco­mo Racioppi, è avvenuta nel XII° sec., al contrario delle affermazioni della maggior parte degli studiosi, che la ritengono avvenuta tra l’VIII° e il IX° sec., in epoca longobarda. Prova di quest'ultima tesi è la torre longobarda, primo nucleo del castello.

Successivamente i Normanni, la cui presenza è testimoniata dalla torre quadrata, costruirono il resto del castello,  edificandolo intorno alla torre longobarda. In seguito, ogni signore,  dall'epoca dei normanni fino a noi, ha aggiunto qualcosa e certo ora il castello conserva ben poco o nulla dell'antica costruzione. La massa dell’edificio, come appare oggi, è una costruzio­ne seicentesca, ma molte modifiche le sono state apportate attorno al '700 e forse anche nei primi dell'800.

Si arriva al castello salendo per via Francesco Lovito e vi si entra attraversando un portone ad arco romano, orientato verso sud.

L'ampio cortile, che troviamo appena varcato l'ingresso, è circondato da un muro di cinta, che si prolunga per tutto il lato di mezzogiorno, fino ad una torre quadrata ad est, ed una torre bassa e rotonda ad ovest, riunendosi alla facciata con una serie di archi, che formano un loggiato cinquecen­tesco. Dalla torre longobarda, che si unisce alla facciata, partendo dalla torre bassa e rotonda, si aprono due ingressi: il primo immette nel secondo cortile e il secondo nelle stalle, nelle quali sono, ancora, visibili le nicchie delle mangiatoie.

La torre longobarda è alta 25 metri, ha un diametro di 8 metri ed è sormontata da merli guelfi quadri, andati per lo più distrutti. Internamente, è costituita da tre piani, ognuno dei quali, è formato da una sola stanza, ricevente luce da una sola finestra. La stanza del pianterreno era adibita a carcere, alle altre stanze si accedeva mediante una scala a chiocciola. Il secondo cortile, più piccolo del primo, mostra uno spettacolo di profonda desolazione: vi sono dappertutto rovine ed è quasi impossibile ricostruire la disposizione delle stanze. Oltre alle stanze del principe e dei suoi ospiti, alle stalle, alle cucine, alle carceri, ai locali adibiti a magazzini per le merci, alla cappella privata, il castello possedeva, anche, una cisterna per la raccolta dell'acqua piovana.

L'ultimo proprietario del Castello fu Domenico Cassini, che l'acquistò nel 1827.

Questi rimise il Castello in ottime condizioni di abitabilità, tanto da trasformarlo in collegio nel 1892 con la direzione del Prof. Antonio Frabasile.

Il collegio fu frequentato da molti studenti moliternesi e da alcuni allievi provenienti da Potenza.

Le lotte intestine e le beghe paesane, causarono nel 1894, la fine di questa istituzione e il sopra citato Domenico Cassini distrusse vandalicamente il Castello vendendone persino gli infissi.

Esso fu poi venduto ai Padula e da questi ultimi fu ceduto ai Comune di Moliterno per la cifra simbolica di lire mille. E' stato, in seguito, dichiarato "monumento d'interesse nazionale" e sono stati eseguiti dei parziali lavori di restauro esterno alla fine degli anni 70. Attualmente è in fase di progettazione una ulteriore fase di restauro.