Oprindelig blev huset døbt "Arbejdernes Forsamlingsbygning", og ved dets indvielse i 1920 stod huset som noget af et svendestykke for Vejles faglige foreninger, der var bygherrer på det ganske imponerende projekt.
I årene 1920 til begyndelsen af 1960'erne var "Arbejdernes Forsamlingsbygning" - der i folkemunde hurtigt blev omdøbt til bare "Bygningen" - således hjemsted for talrige kongresser, større forsamlinger, politiske møder etc., som virkelig satte Bygningen i Vejle på landkortet. I 1960'erne begyndte de faglige organisationer imidlertid i stigende grad at få egne (møde-)lokaler, hvorfor deres behov for huse som "Bygningen" langsomt, men sikkert faldt. Denne udvikling ramte også Bygningen i Vejle, hvilket kulminerende med fagforeningernes salg af huset til en lokal forretningsmand i starten af 1990`erne.
Herefter blev der igangsat forskellige initiativer og skitseret endnu flere idéer for Bygningens fortsatte udvikling - bl.a. blev der etableret en kulturbørnehave, en butik, koncertaktiviteter samt en mindre virksomhed - men alt dette gik helt i stå i slutningen af 1990'erne, da den lokale forretningsmand pludselig faldt bort, og Bygningen stod lidt i et tomrum.
Heldigvis havde Vejle Kommune allerede i nogle år haft kig på huset (bl.a. som hjemsted for byens rytmiske musikliv), og i 2001 faldt et mageskifte med en kommunal ejendom på plads, sådan at Vejle Kommune herefter var den nye ejer af Bygningen. Efterfølgende blev byens borgere inviteret til at deltage i den proces, der skulle lede frem til, hvad huset fremover skulle bruges til - udover den rytmiske musik - og der fremkom talrige gode forslag, som også i dag afspejles i de mange forskellige aktiviteter der foregår i Bygningen.
I årene 2006-2008 blev indkøbscentret Marys opført omkring Bygningen, og det betyder i praksis, at Bygningen nu er en integreret del af centret og at man skal gennem indgangsdørene til centret, før man komme ind til selve Bygningen.
I 2010 overtog fonden Vejle Kulturservice, med Jelling Musikfestival som hovedaktør, driften af Bygningen