Het historisch gebouw waarin Museum "De Roos" is gevestigd, heeft een geschiedenis die ver in de tijd teruggaat. Tijdens de verbouwingswerkzaamheden in 2002 bijvoorbeeld is in een oude woonlaag van het pand een zilveren gehelmde munt, een groot (halve stuiver) van Graaf Willem V, uit 1378 gevonden. Deze vondst geeft aan dat de geschiedenis van het gebouw tenminste tot dat jaar teruggaat.

Trap naar de kelder, waar zich o.a. aardewerk en een multimediaruimte bevindt.

In de 16e-17e eeuw is het pand met zijn prachtige renaissance trapgevel een herberg, "De Roos" genaamd. Veel historisch belangrijke personen uit die tijd verbleven hier. De Spaanse opperbevelhebber Alexandro Farnese (hertog van Parma) en Lanchianzo (de nieuwe gouverneur van Geertruidenberg) richtten er met andere hooggeplaatste personen in 1589 een drinkgelag aan ter ere van het feit dat de stad door verraad wederom in Spaanse handen was gevallen: kosten 395 pond en 8 stuivers! Tijdens de belegering van Breda in 1625 verbleef Prins Hendrik met zijn gevolg eveneens in herberg "De Roos".

Na de Reformatie woonden er gedurende een lange periode predikanten in het pand. Ook gouverneur De Lannoy en zijn dochter Juliana woonden er. Zij verwierf enige faam als dichteres en heeft vele jaren hier gewerkt tot zij in 1782 stierf. Daarna kwam het huis in bezit van Jasper de Bruyn, burgemeester van Geertruidenberg en wijnhandelaar. Hij richtte het huis met zijn grote kelders in als pakhuis en wijnstekerij en bewoonde het naastgelegen pand "Het Zwarte Lam".

In 1916 schonk Godefridus de Bruyn, kleinzoon van Jasper, het pand aan de gemeente met de bedoeling het te bestemmen voor culturele doeleinden. Pas in 1938 was er voor het eerst in "De Roos" een tentoonstelling van antieke voorwerpen die door de Bergenaren ter beschikking waren gesteld.

Collectie historische wapens.

Daarna - o.a. door de Tweede Wereldoorlog - werd het weer stil in het pand. In 1946 vond de heropening van de Stedelijke Oudheidkamer plaats om gedurende lange tijd een kwijnend bestaan te leiden. In 1973 maakte een orkaan een voorlopig einde aan de expositie van het Bergse cultureel erfgoed: het dak waaide van het pand. Het stichtingsbestuur legde er het bijltje bij neer en het pand werd na restauratie - tegen de schenkingsvoorwaarden in - voor commerciële doeleinden aan particulieren verhuurd.

Maquettes die te zien zijn in De Roos.

De inmiddels opgerichte Oudheidkundige Kring "Geertruydenberghe" nam stelling tegen dat besluit en eiste dat het gebouw wederom ter beschikking van het cultureel erfgoed zou worden gesteld. Het duurde tot 1980 voor het zover kwam. In 1981 werd de Stedelijke Oudheidkamer heropend. In 1997 was het gebouw dermate vervallen en dringend aan groot onderhoud toe, dat het eigenlijk niet langer verantwoord was om te blijven exposeren. Na grondige besprekingen van het stichtingsbestuur van de Stedelijke Oudheidkamer met het gemeentebestuur en de Woningstichting Geertruidenberg (WSG) werd besloten om met behoud van de voorgevel en andere waardevolle onderdelen een geheel nieuw museum op de plaats van "De Roos" te creëren. Deze nieuwe ontwikkeling leidde er ook toe dat het stichtingsbestuur zich op het gebied van beheer en beleid nog professioneler ging opstellen hetgeen resulteerde in de erkenning als "geregistreed" museum door de Brabantse Museum Stichting in 2004.