Zamek zbudowany został z polecenia Kazimierza Wielkiego ok. 1354 roku, w najbardziej niedostępnym miejscu w pasie miejskich obwarowań. Obszerny dziedziniec zamkowy zamknięty był od północy i zachodu murem miejskim, a od wschodu i południa - dodatkowym murem zabezpieczającym zamek od strony miasta. Do chwili obecnej z kompleksu budowli zachowały się Sala Rycerska, Skarbczyk oraz Brama Zamkowa.