Galerie Benedikta Rejta vznikla transformací galerijního oddělení lounského Okresního muzea (zal. 1964) roku 1966 z iniciativy Jana Sekery. Náplní její činnosti bylo a stále je správa sbírky a starost o dva výstavní objekty: Pamětní síň Emila Filly na zámku Peruc a budova galerie v Lounech. Dnes je galerie příspěvkovou organizací zřizovanou Ústeckým krajem.

Galerie, stejně jako představená sbírka, měla zásadní roli při uvádění progresivních tendencí 60. let 20. století. V 70. a 80. letech 20. století pak svými nákupy podporovala neoficiální umělce. Jakkoli se jednalo o oficiální galerii, aktivity s ní spojené, především budování sbírky, lze chápat jako činnost neoficiální.