Die Mauern des markanten dicken Turmes stammen noch von dem Bergfried einer älteren, im Jahre 1366 erstmals erwähnten Burg in Detmold, die jedoch wohl bereits zur Zeit der Gründung der Stadt Detmold durch den Edelherrn Bernhard III. zur Lippe im 13. Jahrhundert bestanden haben dürfte. In der Soester Fehde ließ der Erzbischof von Köln im Jahre 1447 Burg und Stadt Detmold durch Böhmische Söldner zerstören. Wenige Jahre danach wurde die alte Burg teilweise wieder aufgebaut und mit einer mächtigen Wallanlage bewehrt. Bereits seit 1511 diente sie den lippischen Landesherren als Residenz. Graf Bernhard VIII. berief 1549 den Baumeister Jörg Unkair, der sich bereits mit einer stattlichen Zahl von Renaissancebauten im Weserraum einen Namen gemacht hatte, nach Detmold. Von ihm stammt das Konzept einer vierflügeligen Anlage, das er bereits beim Bau des Schlosses Neuhaus bei Paderborn verwirklicht hatte. Zwei Giebel an der rechten Seite der Vorderfront des Schlosses und die beiden vorderen Treppentürme tragen noch seine unverkennbare Handschrift. Nach dem Tod Unkairs im Jahre 1554 fügte der flämische "Steinschneider" Johann Robin im Schloßhof die berühmte Renaissancegalerie zwischen den beiden Treppentürmen ein und Baumeister Kord Tönnies vollendete den Neubau des Schlosses. Auf dem Stich von Elias van Lennep aus dem Jahre 1664 ist das damalige Aussehen des Schlosses mit seinen Befestigungsanlage aus der Vogelperspektive deutlich zu erkennen. Erst im 18. Jahrhundert wurde das Schloß teilweise barockisiert. Ab 1780 wurden die Befestigungsanlagen im Eingangsbereich beseitigt, um Raum für den Schloßplatz zu schaffen.