Das Gebäude wurde 1873 als Stadtvilla für die Familie Zimmermann von dem Architekten Wilhelm Neumann erbaut. Nach grundlegendem Umbau 1891/92 durch die Architekten Rudolph Speer und Heino Schmieden, die ein zusätzliches Geschoss und ein Quergebäude anfügten, wurde es 1904 von dem Kaufmann Egon Sally Fürstenberg (1860-1942) erworben, der es 1924 durch die Architekten Hoeniger und Sedelmaier erneut umbauen und erweitern ließ. Die Familie Fürstenberg bewohnte die Belle Etage. Eines der darüberliegenden Stockwerke war von Prof. Dr. Wilhelm Zinn (1869-1943) und seiner Familie angemietet. Zinn war ab 1900 Chefarzt der Inneren Abteilung des Diakonissen-Krankenhauses Bethanien, wurde 1909 zum dirigierenden Arzt der Zweiten Inneren Abteilung des Krankenhauses Moabit ernannt und lehrte von 1921 bis 1938 an der Friedrich-Wilhelms-Universität zu Berlin. Er war Schwiegersohn von Karl Theophilus Richard Schöne (1840-1922), dem Direktor der Berliner Museen und in diesem Amt unmittelbarer Vorgänger Wilhelm von Bodes. Sein Frau Clara Zinn, geb. Schöne, veröffentlichte im Jahr 1918 das mehrfach neu aufgelegte Buch „Kinderspiel und Spielzeug“. 1938 wurden die Fürstenbergs wegen ihrer jüdischen Abstammung in die Emigration getrieben. Um die sogenannte „Reichsfluchtsteuer“ aufzubringen, hat die Familie Fürstenberg große Teile ihres Vermögens abstoßen müssen, wozu auch das Gebäude am Lützowplatz zählte. Es wurde dann damals vom Verein Berliner Künstler (VBK) erworben. Durch Bombenangriffe auf die Berliner Innenstadt im Jahr 1943 wurde es stark beschädigt und brannte aus. Die Bibliothek und das Archiv des 1841 gegründeten Künstlervereins ging dadurch weitgehend verloren. Nach dem Krieg geriet das Haus auf die Abrissliste, wie auch die meisten anderen umliegenden Gebäude. Durch das persönliche Eingreifen des deutschrussischen Malers Nikolaus Sakrekow, des Vorsitzenden des Ausstellungsausschusses des VBK, konnte eine Wiederaufbaugenehmigung beschafft werden. Unter seiner Bauleitung wurden zwei Geschosse des Vorderhauses so wiederhergestellt, dass im Februar 1950 das „Kulturzentrum am Lützowplatz“, wie es damals in der Presse genannt wurde, wieder eröffnet werden konnte. Die zweite Etage des Hauses wurde seit diesem Datum vom Kunstamt Tiergarten als Bezirksgalerie genutzt, das dort in den folgenden Jahren weithin beachtete Ausstellungen unter anderem mit Werken von Vincent van Gogh (1953), Oskar Kokoschka (1956), Marc Chagall (1957) oder Paula Modersohn-Becker (1960) zeigte. In der ersten Etage wiedereröffnete im April 1950 das Graphische Kabinett des VBK mit einer Ausstellung berühmter früherer Mitgliedern wie Menzel und Liebermann.
Das Haus stand seit dem 15. 11. 1948 unter treuhändischer Verwaltung der Britischen Militäradministration, da die Veräußerung 1938 an den VBK als Zwangsverkauf bewertet wurde. Tatsächlich wurde auch im Zuge der Arisierung nur der Bodenrichtwert für das Grundstück bezahlt ohne dem Gebäude einen angemessenen Wert zuzuschreiben. Auf dieser Grundlage erging im Dezember 1959 ein Gerichtsurteil, das den Fürstenberg-Erben die Eigentumsrechte zurückübertrug. Die Immobilie stand daraufhin zum Verkauf, und die Berliner SPD unter Willy Brandt rief im April 1960 einen Trägerverein ins Leben, um das Ausstellungshaus am Lützowplatz weiter für eine öffentliche und kulturelle Nutzung zu erhalten. Im Februar 1961 wurde der Verkauf der Immobilie an den „Fördererkreis Kulturzentrum Berlin e.V.“ rechtswirksam. Der VBK erhielt aus der Kaufsumme eine Kompensation für seine Leistungen beim Wiederaufbau des Hauses. Als erste eigene Ausstellung organisierte der Fördererkreis im Februar 1962 im Haus am Lützowplatz eine Ausstellung mit dem Zeichner und Grafiker A. Paul Weber gefolgt von einer Ausstellung mit moderner Plakatkunst im April 1962 und einer Einzelausstellung von Tomi Ungerer im Mai 1962. Danach begannen mit Unterstützung der Stiftung Deutsche Klassenlotterie umfangreiche Rekonstruktions- und Umbauarbeiten unter der Leitung des Architekten Fritz Gras, der ein weiteres Geschoss im Vorderhaus hinzufügte und das Quergebäude in eine Vielzahl von Wohneinheiten zur Nutzung als Gästehaus parzellierte. Während der Bauzeit organisierte der Fördererkreis mehrere Ausstellungsprojekte an anderen Orten, so etwa in angemieteten Räumen in der Kantstraße 165, die als „Galerie an der Gedächtniskirche“ firmierten, oder im Foyer der Freien Volksbühne in der Schaperstraße. Deren Intendant Erwin Piscator zählte zu den Mitgliedern im Fördererkreis.
Am 18. November 1963 fand die Neueröffnung des Haus am Lützowplatz mit Werken aus der Sammlung der Modernen Galerie der Stadt Krefeld statt. Gleichzeitig wurde im „Kabinett“ in der 4. Etage Malerei und Graphik des Künstlers Martin Schmidt gezeigt und in der Galerie im Domizil im Souterrain eine Ausstellung mit „Serieller Malerei“ des Baseler Künstlers Karl Gerstner.
Das Kunstamt Tiergarten blieb bis 1995 Mieter im zweiten Stock des Gebäudes und kooperierte in dieser Zeit unter seinen Künstlerischen Leitern Friedrich Lambert und Paul Corazolla bei diversen Ausstellungsprojekten mit dem Fördererkreis. Der VBK hingegen war zwar nach der Übernahme des Gebäudes durch den Fördererkreis zunächst noch Mieter in der dritten Etage, wo seine Büro- und Tagungsräume ausgewiesen waren, doch gab er bald den Standort auf und zog 1964 in seinen neuen Vereinssitz am Schöneberger Ufer 57, wo er bis heute zu finden ist.
Das Haus sah am Anfang seine politische Aufgabe vor allem darin, Begegnungsstätte im Sinne eines Kulturclubs zu sein. Es sorgte zudem in dem separat geführten Gästehaus für die Unterbringung von Besuchergruppen, die in Berlin mit der Ost/West-Frage konfrontiert wurden. Politische Bildung war eine wesentliche Aufgabe, erst in eigener Regie, kurzfristig durch den DGB, dann bis zur Wende durch das Paul-Löbe-Institut.
Prägend für die Außenwahrnehmung des HaL waren in den 1960er Jahren auch die Aktivitäten in der Restaurantbar „Domizil“ im Souterrain des Vorderhauses. Hier trat insgesamt mehr als 700 Mal der „Mann mit der Pauke“ Wolfgang Neuss auf. Ab 1999 wurde der Betrieb mit dem Club „Trompete“ neu aufgenommen. Gründungsgesellschafter waren Ben Becker und Dimitri Hegemann.
Im Jahr 1978 erfolgte im Rahmen eines kleineren Umbaus im Erdgeschoss des Quergebäudes, das zuvor als Hausmeisterwohnung genutzt wurde, die Eröffnung der Studiogalerie als neuer Ausstellungsraum.
Im Jahr 1988 wurde mit der Edelstahltreppe von Volkmar Haase ein neuer Eingang ins HaL geschaffen, der durch ein Fenster der Fassade führt. Der Auftrag wurde zusammen mit Haases Assistent Karl Menzen realisiert und war verbunden mit der Aufstellung einer fünf Meter hohen abstrakten Portalskulptur neben dem alten Haupteingang. In derselben Zeit wurde der Hofgarten mit Terrasse und Rampe neu angelegt.
1992/93 wurden die Ausstellungsetagen renoviert und das vormals als Gästehaus genutzte Quergebäude zu Büroräumen umgebaut. Diese Flächen waren bis 2002 komplett an den Genossenschaftsverband Berlin-Brandenburg vermietet.
Seit 1994 erhält der Verein keine institutionelle Förderung des Landes Berlin mehr, sondern finanziert sein Ausstellungs- und Veranstaltungsprogramm vor allem aus dem Gebäudemanagement. Zu den derzeitigen Mietern gehören die Kulturstiftung der Länder, die Kulturstiftung des Bundes, der Bund deutscher Amateurtheater, der Fonds Darstellende Künste e.V. sowie die Filmproduktionsfirma Medea.