Założenie miasta oraz budowę zamku obronnego legendarnie przypisuje się Kazimierzowi Wielkiemu. Prawa miejskie zostały przyznane w pierwszej połowie XIV w. W 1406 r. Władysław Jagiełło dokonał lokacji miasta na prawach magdeburskich. Wytyczono rynek, ulice, wyznaczono działki pod budowę. Jedynie północną część rynku pozostawiono bez zabudowy. Dzięki temu do dnia dzisiejszego rynek otwarty jest na farę i zamek, który to widok podziwiany jest przez malarzy i turystów. W 1501 r. Kazimierz Dolny stał się siedzibą starostwa. Zygmunt I Stary, zadłużony u Mikołaja Firleja, nadał w 1519 r. jemu i jego synowi Piotrowi dożywotni tytuł starosty kazimierzowskiego. Kazimierz pozostawał we władaniu rodu Firlejów do 1644 r. W tym czasie przebudowany został zamek w Kazimierzu. Po pożarach w latach 1561 i 1585 spichlerze i domy mieszkalne zostały odbudowane przy wykorzystaniu skał wapiennych z okolicznych wzgórz. Firlejowie dbali także o uprzywilejowanie miasta w handlu zbożem spławianym Wisłą do Gdańska, który to handel już wcześniej (w okresie od XVI do XVII w.) przyczynił się do rozwoju miasta. Na handlu zbożem wyrosły kupieckie rody Przybyłów, Czarnotów, Celejów (przybyłych z Włoch). W 1628 r. na Wietrznej Górze osiedlili się franciszkanie, pobudowali klasztor i rozbudowali istniejący (od 1585) kościół.
Złoty wiek Kazimierza skończył się w lutym 1656 r. wraz ze spaleniem miasta i zamku przez wojska króla szwedzkiego, Karola Gustawa. Powtarzające się przemarsze wojsk i późniejsza zaraza przyczyniły się do upadku miasta. W 1677 r. Jan III Sobieski wydał dekret pozwalający osiedlać się kupcom ormiańskim, greckim i żydowskim. Ożywienie gospodarcze nie trwało jednak długo. Kolejne wojny polsko-szwedzkie ponownie spustoszyły miasto. Spadło także zapotrzebowanie w Europie na polskie zboże. Kupcy próbowali rozwijać handel drewnem i przemysł szkutniczy. Jednak nie były to zyski podobne do tych osiąganych na handlu zbożem. Późniejsze rozbiory odcięły Kazimierz od rynków zbytu.
18 marca 1831 roku rozegrała się tutaj jedna z bitew powstania listopadowego – bitwa pod Kazimierzem Dolnym.
Od końca XIX w. Kazimierz Dolny stał się miejscowością wypoczynkową. W okolicznych wąwozach zaczęły powstawać wille i pensjonaty dla letników, przede wszystkim z Lublina i Warszawy.