Nel XV-XVI secolo il feudo non aveva più l’importanza giuridica o politica dell’età dell’oro della feudalità, ma rivestiva soltanto un carattere di benemerenza. Bisogna sapere che la storia dell’infeudamento del Castello di Isola del Piano è una storia di affidamento, equivoci, riconoscenza postuma, legata alla figura di Baldassarre Castiglione, uno dei più interessanti scrittori del Rinascimento. Fatto sta che nel 1573 Guido Ubaldo, quarto duca di Urbino, infeudò il conte Camillo Castiglione di Mantova.
I conti Castiglione migliorarono le condizioni del castello dandogli occasione di essere vivo tanto da attirare l’attenzione dei paesi vicini. Così tra la fine del ‘500 e l’inizio del secolo successivo si ottenne il permesso di svolgere due fiere libere, in occasione della festa di San Cristoforo e di quella della Esaltazione della santa Croce, e un mercato in ogni mercoledì.
Il conte Camillo nobilitò inoltre il feudo allestendo una compagnia di fanti che raggiunse anche le cento unità.
In seguito le cose cambiarono e i Castiglione tentarono di cedere il feudo ormai sommerso dai debiti e abitato da una popolazione stremata e ostile. Ma il beneplacito del Papa, necessario per cedere il feudo, non arrivò mai, e i Castiglione rimasero legati alle vicende di Isola fino all’arrivo dei francesi nel 1800.