Het Museum aan het Vrijthof is gehuisvest in het spaans gouvernement, een van de oudste huizen van Maastricht, dat werd gebouwd als domicilie voor een van de schatrijke en machtige kanunniken van het kapittel van Sint Servaas.
Het Spaans Gouvernement werd gebouwd als een statig kanunnikenhuis, markant gelegen aan de zuidzijde van het Vrijthof. Het dateert oorspronkelijk uit de veertiende eeuw en werd gebouwd door kanunnik Fraybart, die het huis in 1333 aan de Brabantse hertogen schonk. In de zestiende eeuw ging het pand over op de hertogen van Bourgondië en zo kwam het vervolgens in bezit van de Spaanse koningen. Vandaar de benaming: Spaans Gouvernement.
Het huidige aanzien van het gebouw is goeddeels zestiende-eeuws. Het huis diende vooral als onderkomen voor de Brabantse hertogen, als die in de stad waren en later voor de Spaanse koningen Karel V en Philips II. Tussen 1520 en 1550 logeerden beide vorsten verschillende keren in het Spaans Gouvernement. Aan het bezoek van Karel V en zijn lievelingszuster Maria, die in 1546 voor het eerst Maastricht bezochten, herinnert de fraaie triomfboog in de achtergevel, die nu – na de recente verbouwing van het museum - deel uitmaakt van de overdekte binnenplaats voorafgaand aan de entree tot het eigenlijke museum, waarin een Grand Café is gevestigd. In het gebeeldhouwde veld boven deze triomfboog zijn twee medaillons te zien waarop de portretten zijn aangebracht van keizer Karel V, keizer van het Heilige Römische Reich Deutscher Nation en tevens koning van Spanje en van zijn zuster, koningin Maria van Hongarije.
Vanaf 1579 verbleef de hertog van Parma enige tijd in het Spaans Gouvernement. Hij zou in 1580 tijdens zijn verblijf in het Spaans Gouvernement de tekst van de vogelvrijverklaring van Willem van Oranje hebben ondertekend, maar hij vaardigde die pas enige tijd later uit toen hij met zijn troepen gelegerd was in Mons (België).
Aan de Vrijthofzijde wordt de bovenverdieping gedomineerd door drie laatgotische ramen met rondboogvensters. In het boogveld boven die vensters zijn gebeeldhouwde wapens aangebracht van het hof van Castilië en het Habsburgse hof. Het middenvenster is gedecoreerd met de tweekoppige Habsburgse adelaar, die in het hart het gedeelde wapen van Habsburg en Castilië draagt. De andere twee vensters worden bekroond door de zuilen van Hercules, die symboliseren de macht van de Spaanse keizer en koning: een zuil staat voor hun Europese macht (keizer van Duitsland en koning van Spanje) en een zuil staat voor de rijkdommen uit de nieuwe koloniën, waarop de welvaart en de economie van Spanje berustten. Over deze zuilen loopt een banderol met het devies van Karel V: Plus oultre (nog verder). Vrij vertaald betekent dat ‘ver boven het gewone uitgaande’. Karel V bezat immers door de verovering van die nieuwe koloniën een rijk waarin de zon nooit onderging: als de zon onderging in Europa ging zij op in de koloniën.
De zuilen van de mergelstenen achtergevel op de thans overdekte binnenplaats hebben kussenvormige kapitelen met daarop gestileerd maskers en monsterdieren. In decoratie en in vorm vertonen deze zuilen verwantschap met de zuilen van de arcade van de binnenplaats van het Prins-bisschoppelijk paleis in Luik (1526).
In 1913 werd het gebouw publiekelijk geveild, Victor de Stuers heeft zich er persoonlijk voor in gezet dat het niet gesloopt werd. Het werd gerestaureerd in 1917, waarna het door De Stuers werd aangeboden aan de gemeente Maastricht om er een stadsmuseum in onder te brengen. Die wens ging pas meer dan een halve eeuw later in vervulling.