Vieles an der Geschichte des Gebäudes ist noch nicht ganz erforscht oder umstritten. So z.B. die Frage, ob das nördliche Mauerwerk des Gebäudes tatsächlich karolingisch, also aus dem 8. Jahrhundert ist, oder erst um etwa 1400 entstand, was ein anderer Teil der Literatur annimmt. Bei Grabungen im Kellereihof wurde ein Gebäude gefunden das sich quer zum Gebäude im heutigen Hof befand und dessen Grundmauern unter der Mitteltreppe verschwinden. Eine zeitliche Zuordnung war bislang nicht möglich. Das Gebäude wurde mehrfach umgebaut und ergänzt, wobei die genaue zeitliche Zuordnung ebenfalls schwierig ist.


Sicher sind drei Jahreszahlen am Gebäude: im Türsturz des linken Eingangs im Erdgeschoss eingemeisselt ist die Jahreszahl 1549. Im rechten Türsturz, ehemaliges Lapidarium, findet sich das Jahr 1621 im Schlußstein des Portalbogens. Auf der Nordseite des Gebäudes findet sich ebenfalls noch eine, heute vermauerte Türe mit der Jahreszahl 1561. Es kann also davon ausgegangen werden, dass das Gebäude in der heutigen Gestalt in diesem Zeitraum entstand. Unterschiedlich ist die Fachwerkstruktur.


Der alte Bau von 1549 hat ein deutlich repräsentativeres Fachwerk als die Erweiterung von 1621. Auch die linken drei Achsen stammen, der Fachwerkstruktur nach, dieser Erweiterung. Zu erkennen sind die Gebäudeteile an den jeweiligen noch sichtlichen Eckkanten, teilweise bossetiert. Bemerkenswert sind noch spätgotische Bogenansätze im rechten Erdgeschoss, die evtl. auf eine Nutzung als Kapelle hinweisen könnten, sowie auf einem Kragstein des linken Erdgeschosses ein sog. Neidkopf, der allerdings heute nach innen schaut und daher wohl bei einer Veränderung quasi umgekehrt wurde. Das Amtshaus ist auch das einzige Gebäude der Altstadt, das noch einen straßenseitigen Abort enthält.


Das Gebäude wurde von vornherein als Amtssitz der Gräflich Erbach- Fürstenauischen Verwaltung erbaut. Es war der Amtssitz des sog. Kellers. Er war zuständig vor allem für die allfälligen Überwachungen der Zehntablieferungen im benachbarten Speicherbau nebst einer Reihe an anderen Aufgaben. Später, nach Übernahme der Grafschaft Erbach durch Hessen, folgte eine Vielzahl an Nutzungen, insbesondere nach dem Verkauf der Kellerei vom Grafenhaus an die Stadt Michelstadt 1970.

So war es auch, im 20. Jahrhundert, u.a. Sitz von zwei Druckereien, der Druckerei Braunreuther und später Seeger-Druck. Danach war es einige Jahre lang mit dem Puppenmuseum und dem Lapidarium Teil des Odenwaldmuseums. Heute befindet sich im linken Erdgeschoss das Atelier der Künstlerin und Bildhauerin Sieglinde Gros, das ehemalige Lapidarium hat verschiedene Funktionen, im ersten Stock rechts befinden sich Büros, links die Stadtbücherei und im Dachgeschoss wurden zwei Wohnungen eingerichtet.