Für die Sammlungen Otto Schäfers wurde 1990/91 das ehemalige Wohnhaus von Otto G. Schäfer (*1937) und seiner Frau Hannelore umgebaut.Die schon seit 1983 gehegten Pläne zum Bau eines Museums kamen so endlich zur Ausführung. Das Gebäude war 1963 bis 1966 von dem Schweinfurter Architekten Heinz-Günther Mömken als weitläufiger Atriumsbau gleich neben der Villa Otto Schäfers errichtet worden. Nun wurde es unter seiner Aufsicht für die neue Aufgabe umgestaltet und der Innengarten überbaut.

Mit seiner funktionalen und zugleich anmutigen Außengestaltung mit fränkischem Muschelkalk und vielen charakteristischen Überdächern fügt es sich harmonisch in die Anhöhe gegenüber der Schweinfurter Peterstirn ein.

Das Obergeschoß beherbergt heute großzügige Ausstellungsräume mit Schauregalen, in denen die Sammlung Deutsche Literatur in Erstausgaben und seit 1995 die Bausch-Bibliothek der Stadt Schweinfurt als Depositum aufgestellt sind.

Im Untergeschoß sind Lesesaal, Freihand- und geschlossene Magazine sowie Büroräume und alle technischen Anlagen, die auf modernstem Stand für eine optimale Klimatisierung und Sicherheit der empfindlichen Bücher- und Graphikbestände sorgen, untergebracht.

Ein Anbau auf der ehemaligen Terrasse, den der Schweinfurter Architekt Franz Göger entwarf, schuf Raum, um die 1998 von dem Ehepaar Dr. Hermann und Maria Morell gestiftete Sammlung Antikes Glas der Öffentlichkeit präsentieren zu können. Heute befindet sich diese Sammlung inhaltlich besser angebunden als Leihgabe des Museums Otto Schäfer im Martin-von-Wagner-Museum der Universtität Würzburg, Antikenabteilung. Der ehemalige "Morell-Saal" wird seither als "Roter Salon" für Wechselausstellungen genutzt.