Il Castello dei Conti di Modica è il simbolo visivo della città. Posto sulla sommità di uno sperone roccioso ha costituito per secoli un vero e proprio monito per i nemici, una difesa naturale per la Capitale della Contea.

​Il Castello dei Conti, così come si presenta ad oggi, è il frutto di una massiccia ricostruzione che ha interressato le sue strutture non solo dopo il terremoto, ma, soprattutto, dopo il 1779. Il progetto per la ricostruzione della abitazione dell’allora Governatore della Contea fu realizzato dal magistrum Ignazio Scifo. Nel nuovo progetto il palazzo viene ad occupare quasi per esteso l’area settentrionale della rocca, doveva essere affiancato alla chiesa e posto di fronte alla Concelleria.