V roce 1611 nechal postavit Jetřich ze Žerotína mohutnou renesanční budovu, která sloužila jako jízdárna koní. Na Moravě byly takové jízdárny pouze tři, ve Velkých Losinách, Břeclavi a u nás. Po porážce stavovských vojsk 1621 byla budova zkonfiskována, od roku 1628 sloužila jako sklad. Za Napoleonských válek zde armáda zřídila lazaret pro raněné vojáky. Hned vedle stojící, původně renesanční zámek Žerotínů, sloužil od 2. poloviny 19. století jako ženská věznice, v té době jediná svého druhu na Moravě. Pro duchovní potřeby trestankyň se lazaret proměnil v letech 1855 až 1908 na vězeňskou kapli, zasvěcenou Neposkvrněnému početí Panny Marie. Mezi trestankyněmi ženské věznice si údajně odpykávala trest i hlavní hrdinka hry bratří Mrštíků Maryša. Po zrušení věznice se z ní stal sklad a velmi chátrala, byla již beze střechy, dokonce se zvažovalo o jejím stržení.

V roce 2008 byla nově zrekonstruována a získala významné ocenění „Stavba roku Zlínského kraje“ a od roku 2009 začala kaple sloužit jako multifunkční kulturní zařízení. Čistý a zároveň majestátný prostor se svou nezaměnitelnou atmosférou nejlépe hodí k prezentaci současného výtvarného umění. Hlavní prostor galerie Kaple má 1710m³ a k výstavnímu prostoru slouží také dvě sklepní podlaží. Každoročně probíhá šest autorských výstav představující to nejlepšího, co je k vidění v širokých vodách české výtvarné scény.