Jak podają kroniki Jana Długosza, zamek w Kazimierzu Dolnym został wzniesiony z polecenia Kazimierza III Wielkiego w latach czterdziestych XIV wieku. Warownia składała się z dwóch głównych części. Pierwszą był Zamek Dolny – zasadnicza część kompleksu obronnego i mieszkalnego. Drugą stanowił Zamek Górny, czyli samotna wieża obronna zwana Basztą lub Wieżą Łokietka. Najprawdopodobniej pełniła ona funkcję strażnicy kontrolującej przeprawę przez Wisłę oraz ważny szlak handlowy biegnący wzdłuż rzeki.
W XV wieku zamek został rozbudowany przez możny ród Grotów. Wówczas powstało nowe skrzydło mieszkalne oraz sucha fosa wzmacniająca system obronny. Na początku XVI stulecia budowla przeszła kolejną znaczącą przemianę. W 1509 roku jej właścicielem został Mikołaj Firlej, który otrzymał zamek z nadania króla Zygmunt I Stary. To właśnie za jego czasów średniowieczna warownia zaczęła przybierać formę rezydencji w stylu renesansowym, bardziej odpowiadającej ówczesnym gustom i potrzebom magnaterii.
Kres świetności zamku przyniósł XVII wiek i burzliwe wydarzenia związane z Potop szwedzki. Wojska szwedzkie zajęły i spaliły warownię, a zaledwie dwa lata później dalszych zniszczeń dokonały oddziały księcia Jerzy II Rakoczy w 1657 roku. Choć po tych wydarzeniach podjęto próby odbudowy, kolejne nieszczęście nadeszło w 1663 roku, gdy wielki pożar miasta objął również Zamek Dolny. W XVIII wieku pojawiały się plany przywrócenia dawnej świetności budowli, jednak liczne konflikty zbrojne uniemożliwiły ich realizację. Ostatecznie w 1806 roku władze austriackie, obawiając się zawalenia zniszczonych murów, wysadziły część konstrukcji.
Od tego momentu zamek pozostawał już trwałą ruiną. Należał wówczas do rodziny Czartoryski family, jednak został im odebrany przez władze Królestwo Polskie za udział Adam Jerzy Czartoryski w działalności powstańczej. Dopiero po II wojnie światowej zaczęto interesować się ruinami z punktu widzenia naukowego i turystycznego. W latach 1958–1960 przeprowadzono tu badania archeologiczne, które pozwoliły lepiej poznać historię i układ dawnej warowni.
Nowy etap w dziejach zamku rozpoczął się w 2013 roku, kiedy przystąpiono do prac konserwatorskich. Ruiny zabezpieczono jako tzw. trwałą ruinę i rok później udostępniono je zwiedzającym. Bilet wstępu obejmuje zarówno teren Zamku Dolnego, jak i wejście na basztę Zamku Górnego.
Warto pamiętać, że kasa biletowa znajduje się przy Zamku Dolnym – tam należy udać się w pierwszej kolejności. Choć zachowane fragmenty murów nie są dziś szczególnie rozległe, miejsce to rekompensuje wszystko niezwykłą atmosferą i widokami. Z ruin rozciąga się malownicza panorama doliny Wisły oraz samego Kazimierza Dolnego, a jeszcze bardziej spektakularny widok czeka na tych, którzy zdecydują się wspiąć na basztę – jeden z najbardziej charakterystycznych punktów widokowych w całym regionie.
