Jan Peere Buseyn liet in 1563 een huis bouwen dat hij de naam gaf Het Wapen van Savoyen. Het heeft een opzet van een hoofdhuis, met links een aansluitend zijhuis en in de binnenhoek een traptoren. In het zijhuis is de entree opgenomen, zodat in het hoofdhuis aan de voorzijde ruimte was voor een grote zaal. Een gravure uit 1678 beeldt het zijhuis af met een laatgotische natuurstenen ingangspartij. De huidige ingangspartij, met een houten deurkozijn en op de verdieping een ondiepe erker, komt al voor op een gravure uit 1729. Het is goed denkbaar dat de gotische ingangspartij behoorde tot delen van een ouder huis, die in het nieuwe huis werden opgenomen. Eind 18de eeuw kwam het pand in handen van de stad en werd het als kazerne gebruikt. Later deed het achtereenvolgens dienst als Latijnse School, werkinrichting en zetel van het Burgerlijk Armbestuur. In 1953-1957 werd het gerestaureerd en bestemd tot gemeentearchief.
