Die ersten Erwähnungen der Kastellanei Oświęcim stammen aus der Zeit ihrer Angliederung an das Herzogtum Opole (1177-1179). Der Umbau und die Befestigung des Schlosses werden dem Sohn des Herzogs Mieszko I. – Herzog Kasimir I. von Oppeln, zugeschrieben. Davon zeugen die archäologischen Funde in der Nähe des Turms, die belegen, dass ein gemauertes Bauwerk auf der Anhöhe bereits in der ersten Hälfte des 13. Jahrhunderts vorhanden war. Anhand der erhaltenen Bestandsaufnahmen des Schlosses lassen sich die Ausstattung und das Aussehen dessen Räume gut beschreiben. Um das Schloss zu erreichen, musste man zuerst zwei Holzbrücken überqueren. Die Räume, in denen die Besucher empfangen wurden, befanden sich im ersten Obergeschoss. Diese umfassten einen großen Gerichtssaal, zwei Räume und einen zusätzlichen Saal. Auf der anderen Seite des Schlosses, auch im 1. Obergeschoss, lagen einige Stuben und eine Kapelle, darunter eine Kanzlei und „Gewölbe“ (gut gesicherte Räume, in denen vielleicht die Bücher aufbewahrt wurden). Der Turm wies zwei oder drei Geschosse auf, die durch eine Treppe erschlossen waren. Um den Turm durch eine Tür zu betreten, musste man diese zuerst durch eine Leiter erreichen. Im 16. Jahrhundert wurde eine Außentreppe aus Holz angebaut, die bis heute nicht mehr erhalten ist. Im unteren Bereich, der von außen nicht zugänglich war, befand sich das Gefängnis. An der Fassade des Turms war eine Uhr installiert. In dem Gebäude am Turm befanden sich neben den Wohnräumen auch eine Bäckerei, Speisekammern, Gewölbekeller, eine Küche, eine Brauerei und eine Mälzerei. Im Zeughaus am ersten Tor waren Hakenbüchsen, Armbrüste, Kopierkanonen, Pavesen, kurze Speere mit Eisenklingen, Speere, Schießpulver, Eisenkugeln und weitere Waffen eingelagert.

1241 wurden die Burg und ihre Umgebung von den Tataren geplündert. Nach diesem Ereignis wurde die Stadt wiederaufgebaut und mit Mauern umgeben. Auf dem Hügel wurde ein quadratischer Turm aus Stein gemauert. Nachdem der Stadt Oświęcim 1291 das Justizprivileg verliehen wurde, vollzog der Henker (damals „Meister der heiligen Gerechtigkeit“ genannt) neben diesem Turm die Todesurteile. 1314 oder (1315) wurde das Schloss zum Sitz des ersten Herzogs von Oświęcim – Władysław I. In den Jahren 1414-1433 residierte Herzog Kasimir I., Sohn von Przemysław, auf dem Schloss. 1453 wurde das Schloss durch seinen früheren Besitzer Jan IV. belagert, der sich mit dem Verlust seiner Residenz nicht abfinden konnte und sie zurückfordern wollte. 1454 wurde das Schloss zusammen mit dem Herzogtum Oświęcim als Lehen an Kasimir IV. Andreas übergeben, und drei Jahre später, am 21. Februar, verkauft. Krafts des Abkommens von Głogów (1462) ging das Schloss als Teil des Oświęcim-Zator-Landes in den Besitz der polnischen Krone über. Zum ersten Kastellan wurde Mikołaj Słop ernannt. Der König ordnete den Wiederaufbau des Schlosses und der Stadtmauern an, er ließ die Verteidigungsanlagen verstärken und den Schutzgraben vertiefen. Diese Arbeiten wurden von den Bewohnern des Landes Oświęcim und Kraków mit einer einmaligen freiwilligen Abgabe finanziert. 1503 brannten die hölzernen Teile der Bebauung ab; nur der Turm und die Fundamente blieben erhalten. Der Wiederaufbau dauerte viele Jahre. 1512 wurden eine Ziegelei für den Wiederaufbau des Schlosses und 1525 ein Steinbruch eröffnet. Die Arbeiten wurden 1534 fertiggestellt. Dies war der letzte große Umbau des Schlosses und seiner Außenanlagen. In den Jahren danach verfiel das Gebäude zusehends und verlor seine Verteidigungsfunktion. Ein von den Schweden Heeren verursachter Brand 1656 besiegelte den Untergang des Schlosses. Alle Gebäude mit Ausnahme des Turms und des Südgebäudes des Schlosses wurden zerstört. Die Überschwemmungen von 1805 und 1813 schwemmten den Hügel an und zerstörten die Verteidigungsmauern und die Wirtschaftsgebäude. Die letzten Umbauten von 1904-1906 und 1929-1931 veränderten endgültig den Charakter des Schlosses. Nur der gotische Turm zeugte noch von seiner einstigen Zweckbestimmung und Wehrhaftigkeit.

Während des Zweiten Weltkriegs diente das Schloss als Sitz der deutschen Besatzer.

Das Schloss wurde in seiner Geschichte mehrmals von prominenten Gästen besucht: Elisabeth von Habsburg (spätere Frau von König Kasimir IV. Andreas), der böhmische König Vladislav II. oder Bona Sforza d'Aragona (spätere Frau von König Sigismund dem Alten).

Das Schloss ist heute Eigentum der Stadt Oświęcim. 2007 wurde die erste Stufe der von der Europäischen Union mitfinanzierten Sanierung fertiggestellt. In der zweiten Phase soll der gotische Turm restauriert werden.

Das Schloss beherbergt das Museum von Oświęcim mit seinen historischen und ethnografischen Sammlungen. Seine Dauerausstellung zeigt den Besuchern die Geschichte der galizischen Stadt, die Inneneinrichtung der bürgerlichen Zimmer, sowie weitere Artefakte, die bei archäologischen Ausgrabungen gefunden wurden, wie Äxte, Beile und Töpfe. Unter den Mauern verlaufen zwei Tunnel. Der ältere wurde vor 1914 gebaut, der zweite wurde von den Deutschen während des Krieges ausgehöhlt und diente als Luftschutzbunker.