Bij het rond 1400 gestichte Sint-Jorisgasthuis werd in de 15de eeuw, in twee fases, een forse gasthuiskapel gebouwd. Het gasthuis was bestemd voor het verplegen van zieke vrouwen, terwijl mannen in het gasthuis aan de Koornmarkt werden opgenomen. Later werden in het Sint-Jorisgasthuis steeds meer verstandelijk gehandicapten ondergebracht en sprak men van een dolhuis. In 1577, na de reformatie, kwam het complex in handen van de stad, die de kapel als oorlogsmagazijn gebruikte. Het naastgelegen dolhuis bleef zijn functie nog enige tijd houden, maar in 1645 werd het koor van de kapel tot dolhuis bestemd, en kreeg dat tussenvloeren en gewone vensters. Het dolhuis verhuisde in 1760 naar het voormalige Sint- Annaklooster aan de Geerweg. De stad schonk de kapel in 1764 aan de Lutherse kerk. Stadsarchitect Nicolaas Terburg moderniseerde de voorgevel door die te beklampen en te voorzien van een in- en uitzwenkende geveltop. Het sierlijke middeleeuwse torentje bleef behouden.
