Pałac fundował Jakub Zadzik, biskup chełmiński i kanclerz wielki koronny w latach 1625-1635, a od końca 1635 r. do śmierci w 1642 r. biskup krakowski. Budowę pałacu, którą kierował starosta klucza kieleckiego i żupnik Stanisław Czechowski, rozpoczęto ok. 1637 r. Wybrano nań eksponowane widokowo miejsce - cypel skalistego wzgórza, nieopodal ówczesnej kolegiaty. Prace zakończono ok. 1644r. Po upaństwowieniu dóbr biskupich w 1789 r. pałac był siedzibą różnych instytucji. Siedzibą Muzeum Narodowego stał się w początkach 1971 r.; wkrótce urządzono w nim stałe ekspozycje i jednocześnie podjęto zakrojone na wielką skalę prace konserwatorskie. W zabytkowych wnętrzach, nawiązując do pierwotnego wystroju zgromadzono meble, tkaniny, wybitne dzieła malarskie, ceramikę. Na parterze pałacu znajduje się Galeria Malarstwa Polskiego, wystawa dawnego uzbrojenia europejskiego i wschodniego oraz Sanktuarium Marszałka Piłsudskiego.