Das spätgotische Haus war ursprünglich von Mauer und Graben umgeben und diente als Stadthaus derer von Kollenberg. Diese Adligen schenkten ihren Besitz 1420 dem Mainzer Domkapitel, das daraus die Domkellerei machte
Nach seinem früheren Besitzer auch Hartigsbau genannt, diente das spätgotische Gebäude dem Mainzer Domkeller als Wohnung. Heute befinden sich im Hartigsbau Räume der Musikschule und der Volkshochschule Miltenberg.