Palazzo San Sebastiano, sede del Museo della Città, è situato al margine meridionale di Mantova, in simbiosi urbanistica e monumentale con l'omonimo tempio, la Casa del Mantenga e Palazzo Te. Edificato e decorato tra il 1506 e il 1058, fu dimora signorile di Francesco II di Gonzaga, che vi risedette dal 1512 sino alla sua morte, nel 1519. In seguito il Palazzo venne dato in uso a nobili mantovani e a rami cadetti dei Gonzaga. L'architettura dell'edificio, a forma di parallelepipedo allungato, è caratterizzata da un'ariosa loggia di marmo aperta internamente sul lato nord. Il Palazzo San Sebastiano deve la sua fama al fatto di aver ospitato, in epoca gonzaghesa, la celebre serie dei "Trionfi di Cesare" di Andrea Mantenga (oggi sono esposte le copie seicentesche dell'opera). Dopo il '500 l'edificio venne abbandonato e via via spogliato dei suoi splendori.

Nel corso dei secoli fu degradato a prigione e caserma. Agli inizi del 1900 una parte dell'edificio, insieme con l'antica Porta Pusterla, è stata demolita per far posto al passaggio di automobili; negli anni '20 e '30 i giardini vengono ridimensionati. Nel corso del secolo è stato sede di bagni pubblici, scuole, circoli ricreativi. L'opera di recupero della struttura ha avuto inizio nella seconda metà degli anni '90 e ha riportato alla luce le decorazioni rinascimentali del Palazzo. L'architettura prestigiosa lo rende la sede ideale per ospitare il Museo della Città, inaugurato nel 2005. Sono così nuovamente fruibili i preziosi affreschi che ornavano il palazzo, raffiguranti le imprese di Francesco II e la moglie Isabella d'Este. È stata inoltre recuperata la splendida loggia che si affaccia sul cortile interno. Il Museo ospita una significativa raccolta di opere appartenenti alle Collezioni Civiche del Museo Patrio di Mantova, che illustrano la storia urbanistica e artistica della città dalle origini al secolo XIX.