Il primo documento scritto, relativo al territorio di San Giorgio di Pesaro, risale al 777 ed è una bolla papale che nomina il Castello (centro abitato racchiuso da mura) di Poggio. Un altro documento è dell'anno 875 che cita sia il castello del Poggio che quello di San Giorgio.
I due piccoli castelli, abitati da poche famiglie povere addette tutte ai lavori della campagna, pur autonomi, passeranno attraverso le alterne vicende della storia subendo spesso le conseguenze di fatti e decisioni prese altrove.
Durante il medioevo, fecero parte dei possedimenti dell’abbazia benedettina fanese di San Paterniano. Successivamente furono tra i castelli del Vicariato di Mondavio con il privilegio di custodire nel proprio archivio tutti gli istrumenti e le pubbliche scritture dei castelli limitrofi.