Das Schloss befand sich auf dem linken Ufer des Mains am südlichen Ortsende von Wörth am Main. Von der Altstadt war es durch Mauer, Vorburg (später Schlossgarten) und Graben getrennt.
Wörth am Main, 1291 erstmals urkundlich als oppidum meum Werde (Werde = Insel) in einer Urkunde der Herren von Breuberg erwähnt, besaß damals sicher schon eine Burg. Diese selbst wird aber erst acht Jahre später, zusammen mit dem Ort, als Lehen des Mainzer Erzbischofs in den Händen derer von Breuberg benannt. Zu dieser Zeit war Gerhard II. von Eppstein Erzbischof und Kurfürst von Mainz. Mit Gerlach von Breuberg wiederum war das Geschlecht der Reize von Breuberg auf dem Höhepunkt seiner Macht angekommen.