Vlastivědné muzeum a galerie se nachází v budově bývalého augustiniánského kláštera, který byl založen roku 1627 Albrechtem z Valdštejna. Uprostřed klášterního ambitu vytvořili v roce 1698 augustiniáni poutní místo stavbou kaple Loreta, která náleží k 48 českým loretám, napodobeninám Svaté chýše nazaretské. Velká část jich zanikla a v severních Čechách zůstávají než rumburská a českolipská. Muzeum zde zahájilo svou činnosti po rekonstrukci v roce 1968. K vidění jsou specializované expozice, v přízemí cizokrajná zvířena, hmyz a geologie a v prvním patře regionální sbírky přírodovědné a historické. Galerie se věnuje především modernímu umění a jejím ústředním prostorem je bývalý klášterní refektář. Největším prostorem pro příležitostně konané výstavy jsou chodby ambitu, přičemž přilehlá Biberova síň slouží i společenským událostem. K muzeu náleží ještě tři pobočky – Archeologické muzeum Šatlava v České Lípě, Památník K. H. Máchy v Doksech a Vísecká rychta v Kravařích.