Na wzgórzu położonym naprzeciwko zamku, lecz po przeciwnej stronie Kazimierza Dolnego, wznosi się kościół Zwiastowania Najświętszej Maryi Panny wraz z klasztorem reformatów. Dawniej miejsce to nosiło nazwę Wietrznej Góry, natomiast określenie Plebania Góra pojawiło się stosunkowo niedawno. Świątynię zbudowano w 1589 roku, a jej uroczysta konsekracja odbyła się dwa lata później, w 1591 roku.
W XVII wieku przy kościele osiedlili się franciszkanie reformaci, którzy w latach 1638–1668 rozbudowali kompleks o część klasztorną. Całość otoczono wysokimi murami obronnymi, nadając miejscu charakter zarówno sakralny, jak i obronny. Interesującym rozwiązaniem architektonicznym jest wejście prowadzące z ulicy Cmentarnej na dziedziniec kościoła – odbywa się ono przez charakterystyczne, kryte schody. Z czasem reformaci przebudowali i powiększyli zarówno świątynię, jak i zabudowania klasztorne, jednak w 1827 roku klasztor został poważnie zniszczony przez pożar. Podczas odbudowy kościół otrzymał formę nawiązującą do stylu klasycystycznego.
W czasie II wojny światowej zabudowania klasztorne zajęło gestapo, które w piwnicach urządziło więzienie. Po zakończeniu wojny w murach dawnego klasztoru utworzono muzeum. W samym kościele zachowało się wiele elementów pierwotnego wyposażenia. Ołtarz główny pochodzi z 1770 roku i umieszczono w nim obraz datowany na około 1600 rok. Z podobnego okresu pochodzi także wyposażenie zakrystii z 1771 roku. Najstarszym zachowanym elementem są jednak drzwi wejściowe, pochodzące z pierwotnej budowli – widnieje na nich data 1589.
Obecnie zespół klasztorny należy do Prowincji Matki Bożej Anielskiej Zakonu Braci Mniejszych. Wzgórze, na którym znajduje się świątynia, jest również jednym z najlepszych punktów widokowych w okolicy – rozciąga się stąd malownicza panorama na Kazimierz Dolny, zamek oraz dolinę Wisły. Miejsce to łączy w sobie historię, architekturę i wyjątkowy krajobraz, stanowiąc ważny element dziedzictwa miasta.
