Passò sotto il comune di Cagli, quindi al dominio dei Conti Gabrielli di Gubbio e, nel 1420, ai Conti da Montefeltro che difesero il Castello da un massiccio attacco dei Malatesta.
Fu Federico di Montefeltro a dare incarico al grande architetto senese Francesco di Giorgio Martini di potenziare la struttura del Castello. Francesco Maria I della Rovere nel 1530 lo diede in feudo ai modenesi Conti della Porta dai quali fu ampliato aggiungendovi zone riservate agli alloggi privati.
Riaperto al pubblico, dopo quindici anni di restauro, il Castello regala un  panorama mozzafiato che spazia dagli Appennini al mare e a San Marino. Oggi le sue mura ospitano eventi, giochi, mostre, concerti che arricchiscono le visite dei numerosi turisti.