Pierwsze wzmianki o kasztelanii oświęcimskiej pochodzą z okresu, gdy została ona przyłączona do księstwa opolskiego (lata 1177–1179). Przebudowę i umocnienie obronne zamku przypisuje się synowi Mieszka Plątonogiego księciu Kazimierzowi. Świadczyć o tym mogą odkrycia archeologiczne w pobliżu wieży potwierdzające istnienie obiektu murowanego na wzgórzu zamkowym w pierwszej połowie XIII wieku. Na podstawie zachowanych dokumentów lustracyjnych zamku można opisać wyposażenie i wygląd pomieszczeń. By wejść do zamku, trzeba było przejść po dwóch drewnianych mostach; pomieszczenia, w których podejmowano przybyłych, mieściły się na piętrze. Składały się na nie duża izba sądowa, dwa pokoje i dodatkowa sala. Po drugiej stronie zamku, też na piętrze, znajdowało się kilka izb i kaplica, pod nimi kancelaria i "sklepy" (pomieszczenia dobrze zabezpieczone, być może przechowywano tam księgi grodzkie). Wieża miała dwie lub trzy kondygnacje połączone wewnątrz schodami. Wejście na znacznej wysokości wymagało przystawiania drabiny. W XVI wieku dobudowano drewniane schody zewnętrzne, które nie przetrwały do czasów współczesnych. W dolnej części, do której nie było dostępu z zewnątrz, mieściło się więzienie. Na elewacji wieży widniał zegar. W budynku sąsiadującym z wieżą, oprócz pomieszczeń mieszkalnych, była piekarnia, spiżarnie, sklepione piwnice, kuchnia, browar, słodownia. W zbrojowni przy pierwszej bramie przechowywano hakownice, kusze, działa kopijnicze, pawęże, sulice (krótkie włócznie z żelaznym ostrzem), włócznie, proch strzelniczy, kule żelazne, sypy do kusz.

W 1241 gród i okolice splądrowali Tatarzy. Po tym wydarzeniu miasto odbudowano i otoczono murami, a na wzgórzu rozpoczęto wznoszenie kamiennej wieży na planie kwadratu. Koło tej wieży po uzyskaniu przez Oświęcim w 1291 przywileju sądowniczego kat, nazywany "mistrzem świętej sprawiedliwości", wykonywał wyroki. W 1314 roku lub (1315) zamek został siedzibą pierwszego władcy Księstwa Oświęcimskiego – księcia Władysława I. W latach 1414–1433, rezydował w zamku książę Kazimierz I, syn Przemysława. W 1453 zamek przetrwał oblężenie byłego właściciela Jana IV, który nie mogąc się pogodzić z utratą rezydencji, dążył do jego odzyskania. W 1454 zamek wraz z księstwem oświęcimskim został oddany w hołd Kazimierzowi Jagiellończykowi, a trzy lata później 21 lutego sprzedany. Na mocy traktatu głogowskiego (1462) zamek, jako część ziemi oświęcimsko-zatorskiej, stał się częścią Korony. Pierwszym kasztelanem został Mikołaj Słop. Król polecił odrestaurować zamek i mury miasta, umocnić system obronny i pogłębić fosy. Prace sfinansowali mieszkańcy ziemi oświęcimskiej i krakowskiej jednorazową dobrowolną daniną. W 1503 roku pożar strawił drewniane zabudowania, ocalała jedynie wieża i fundamenty. Odbudowa trwała wiele lat, a na potrzeby budowy zamku uruchomiono w 1512 roku cegielnię i w 1525 roku kamieniołom. Prace zakończono w 1534 roku. Była to ostatnia wielka przebudowa zamku i jego otoczenia. W późniejszych latach budowla systematycznie chyliła się ku upadkowi i traciła swój obronny charakter. Pożar spowodowany przez Szwedów w 1656 przypieczętował upadek zamku. Zniszczeniu uległy wszystkie zabudowania oprócz wieży i budynku południowego zamku. Powodzie w latach 1805 i 1813 podmyły wzgórze i zniszczyły mury obronne oraz budynki gospodarcze. Ostatnie przebudowy z lat 1904–1906 i 1929–1931 ostatecznie zmieniły charakter zamku. O jego dawnym przeznaczeniu i obronności świadczyła tylko gotycka wieża.

W czasie II wojny światowej w zamku była siedziba niemieckich władz okupacyjnych.

Gmachy zamkowe gościły liczne znakomite osobistości: Elżbietę Rakuszankę (przyszłą żonę króla Kazimierza Jagiellończyka), króla czeskiego Władysława Jagiellończyka czy Bonę Sforza d’Aragona (przyszłą żonę króla Zygmunta Starego).

Obecnie zamek jest własnością Urzędu Miejskiego w Oświęcimiu. W 2007 zakończył się pierwszy etap remontu współfinansowanego przez Unię Europejską. W drugim etapie zostanie odrestaurowana gotycka wieża.

W gmachu zamkowym ulokowano Muzeum Zamek w Oświęcimiu ze zbiorami historyczno-etnograficznymi. Na wystawie stałej można zapoznać się z historią galicyjskiego miasta, zobaczyć pokoje mieszczańskie, które są próbą rekonstrukcji wystroju domów przed wojną, a także zobaczyć przedmioty znalezione podczas prac archeologicznych, np. topory, siekiery, garnki. Pod murami zaś ciągną się dwa tunele. Starszy powstał przed 1914 rokiem, drugi wydrążyli Niemcy w czasie wojny - pełnił funkcję schronu przeciwlotniczego.