Jak wskazują badania, w miejscu obecnego zamku już co najmniej od połowy XV w. istniała warownia. Tutejsze tereny, z kilkoma zamkami, należące przez pewien czas do książąt oświęcimskich, stanowiły bazę dla rycerzy-rabusiów, którzy (popierani przez tutejszych książąt) dokonywali łupieżczych wypadów przeciw Małopolsce. Stało się to przyczyną konfliktu z królem Polski, Kazimierzem Jagiellończykiem, oraz starć zbrojnych. Gdy tereny te dostały się we władanie Komorowskich herbu Korczak, ich polityczne lawirowanie pomiędzy Polską a Węgrami również stwarzało dla kraju zagrożenie, co stało się przyczyną podjętej przez Kazimierza Jagiellończyka w 1477 r. zbrojnej akcji, w wyniku której tutejszy zamek został zburzony.
Kolejną budowlę wzniósł tu Jan Komorowski, na przełomie XV i XVI w. Zamek ten, obok dwóch budynków mieszkalnych posiadał bramę warowną oraz dwie narożne baszty. Połowa XVI w. przyniosła rozbudowę zamku przez Jana Spytka i Krzysztofa Komorowskiego, w wyniku której powstała typowa, renesansowa rezydencja z arkadowych dziedzińcem, wzorowanym na wawelskim.
Przez pewien czas rezydencja należała do znanego awanturnika i hulaki, Mikołaja Komorowskiego, który prowadząc kosztowne wojny z sąsiadami coraz bardziej się zadłużał, więc zaczął produkcję fałszywych monet. W 1623 r. zamek mocno zniszczony został przez najazd braci Rylskich, wierzycieli Komorowskiego. W 1624 rezydencję zakupiła żona Zygmunta III Wazy, królowa Konstancja, remontując oraz podwyższając budowlę. Pół wieku później nabyta została z kolei przez hrabiów Wielopolskich, którzy dokonali dalszej rozbudowy w stylu barokowym (w początkach XVIII w.). Rok 1838 przyniósł zakup tych dóbr przez Habsburgów. Kolejne przebudowy doprowadziły do nadania rezydencji stylu neogotyckiego, niemniej jednak zachowała się gotycka wieża oraz renesansowy dziedziniec.
Od 2005 r. zamek jest siedzibą Muzeum Miejskiego, którego tradycje sięgają lat międzywojennych.
