I Vadstena finns även ett tjugotal medeltida stenhus bevarade, varav ett är Mårten Skinnares hus som kan ha byggts 1520. Från början byggt för att ta hand om sjuka, fattiga och trötta pilgrimer. Ett mycket speciellt litet hus med toaletten påhängd mycket synligt. Intill ligger "Stora dårhuset", som byggdes 1757, vilket är Sveriges första mentalsjukhus.
Vadstenas historia går tillbaka till tiden då kungariket Sverige började formas, och flera tidiga kungaätter kom från trakten. På 1200-talet byggdes här ett palats för kung Valdemar, och 100 år senare ägdes detta palats av Kung Magnus Eriksson och drottning Blanka, och Birgitta Birgersdotter anställdes som hovdam. Birgitta fick uppenbarelser om att hon skulle anlägga ett kloster, och kungaparet kom att testamentera palatset till henne – där hon kunde förverkliga sina drömmar om ett kloster efter ett godkännande av påven i Rom. Påven helgonförklarade Birgitta 1392 och klostret kom sedan att locka många pilgrimer från hela Norden. Pilgrimerna behövde mat och husrum och en stadsliknande bebyggelse växte fram på klostrets mark. Pilgrimerna behövde även sjukvård och ett hospital inrättades. Staden blev en mötesplats och den växte.
Gustav Vasa kom dock att utöva sin makt på 1500-talet, och reformationen medförde att klostrets tid var utmätt. Kronan stängde klostret, och det byggdes om till krigsmanshus där krigsinvalider med familjer bodde. De boende där tjänade extra genom spetsknyppling vilket lade grunden till Vadstenas rykte för sina spetsar.
Samtidigt lät Gustav Vasa uppföra en försvarsborg som kom att bli Vadstena Slott. Därefter har klostret använts som ett kurhus för veneriskt sjuka och sedan kom det att bli landets största lasarett.