W roku 1796 z inicjatywy rodziny Warkoczów powstał murowany pałac w stylu późnobarokowym (wysoki mansardowy dach) oraz klasycystycznym (elewacja frontowa z wysuniętym ryzalitem i trójkątnym naczółkiem).
W roku 1829 po śmierci Antoniny Warkoczowej pałac odziedziczyła rodzina Chrząszczewskich, a po krótkim okresie, w roku 1856 pałac przeszedł na własność rodziny von Koschützkich (Kosickich), która poddała go niewielkiej przebudowie. Rodzina Kosickich władała Pałacem aż do roku 1922, w którym sprzedała to majątek i wyjechała do Niemiec.
W 1935 roku w pałacu znalazł siedzibę tarnogórski Związek Strzelecki. W czasie II wojny światowej pałac przeszedł w ręce rodu Donnersmarcków z Brynka, gdzie przechowywali swoje dokumenty. Po roku 1945 w pałacu znajdowały się mieszkania komunalne. Długotrwała eksploatacja doprowadziła budynek do całkowitej dewastacji.
W latach 1974 – 80 Zakłady Mechaniczne Zamet ze Strzybnicy przy współudziale Pracowni Konserwacji Zabytków z Krakowa odbudowały pałac zgodnie z pierwowzorem. W 1983 roku władze miasta przekazały odrestaurowany pałac Stowarzyszeniu Polskich Artystów Muzyków, w którym utworzono Dom Pracy Twórczej. Organizowano wówczas cotygodniowe koncerty pod nazwą: "Niedzielne Popołudnia", finansowane przez Ministerstwo Kultury i Sztuki, podczas których występowali nie tylko znani artyści, ale promowano także młodych wykonawców.
Zmiana sytuacji politycznej w Polsce oraz sposobów finansowania przez państwo instytucji kulturalnych zmusiły SPAM do rezygnacji z użytkowania obiektu. Obowiązek ten przejęły władze miasta, powołując w 1991 roku Regionalne Centrum Kultury – Pałac w Rybnej, które obok działalności artystycznej prowadziło również działalność komercyjną w formie usług hotelarskich i gastronomicznych. Kontynuowano cykl "Niedzielne Popołudnia", a koszty koncertów i festiwali pokrywano z wypracowanych środków własnych, sponsoringu firm i instytucji.
Od 1998 roku Pałac w Rybnej działa jako Spółka z o.o., której jedynym udziałowcem jest Gmina Tarnowskie Góry. Pierwszym dyrektorem Pałacu w Rybnej był Jerzy Kurek, następnie w latach 1989 - 2004 Jolanta Bambynek oraz do roku 2008 Danuta Rogozińska.