Het kasteel van Leerdam was een stadskasteel. Het zou al in 1270 zijn gebouwd door ene Pelgrim van der Leede, die stamde uit het geslacht van de familie Van Arkel. Van der Leede zou een kasteel willen hebben dat dichter bij de stad Leerdam zou liggen en dat zijn verwoeste slot, dat verder van Leerdam lag, zou hebben moeten vervangen. In hoeverre deze lezing juist is, zal wel altijd een raadsel blijven, want tientallen jaren na de stichting van kasteel Leerdam, blijkt het slot Ter Leede nog steeds in tact te zijn.
Hoe het ook zij, het slot van Leerdam werd op de zuidwesthoek van de stad Leerdam gebouwd en leek binnen de stadsmuren te liggen. In werkelijkheid was het van de stad gescheiden door een smalle gracht. Het kasteel had een eigen ommuring.
Prins Willem van Oranje, de vader des vaderlands, trouwde in 1551 met Anna van Buren. Al zes jaar na hun huwelijk overleed Anna, waarmee de prins van Oranje in het bezit kwam van, onder meer, het graafschap Leerdam. Zo werden de Oranjes ook eigenaar van het kasteel van Leerdam. De huidige prinses Beatrix heeft onder haar vele titels nog steeds die van gravin van Buren, een naam, die ook door haar moeder werd gebruikt als zij incognito onderweg was. Ook koning Willem-Alexander heeft de naam van Buren gebruikt, door zich onder die naam te laten inschrijven als deelnemer aan de Elfstedentocht.
De Tachtigjarige Oorlog met Spanje maakte een eind aan het kasteel van Leerdam. In 1574 werd Leerdam door de Spanjaarden onder aanvoering van de legeraanvoerder Vitelli belegerd. De stad werd ingenomen en het kasteel van Leerdam werd verwoest. De wallen van Leerdam met de drie hoektorens werden weer opgebouwd maar aan herstel van het kasteel was niet meer te denken. De ruines takelden steeds verder af. In het begin van de achttiende eeuw werd een tuin op het voormalige kasteelterrein aangelegd, waarmee de ruïne verdween. In 1770 liet Mevrouw van Aerden-Ponderus haar oog op deze plek vallen. Zij had nog al wat familie in deze streek en stad en bepaalde in haar testament dat hier in Leerdam een hofje gebouwd moest worden voor hulpbehoevende dames van gereformeerde religie, om hier hun laatste levensdagen te kunnen slijten. En zo werd rond 1770 begonnen met de bouw van een hofje, dat sinds de bouw bekend staat als het Hofje van Aarden. Het is thans een van de weinige belangwekkende gebouwen van Leerdam.
In de jaren 1974 tot 1976 werd het Hofje van Aarden gerestaureerd. Tijdens deze restauratie werden wat restanten van het oude kasteel van Leerdam teruggevonden. Ze zijn keurig netjes geconsolideerd en vormen nu een geschiedkundig rustpunt in de boomgaard achter het Hofje van Aarden. Vanuit de zijstraat van de Kerkstraat, direct naast het hofje van Aarden zijn de restanten goed zichtbaar, maar ook vanaf de trap achter het voormalige veerhuis, die naar de kade langs de Linge voert, zijn de restanten nog te bewonderen.