Ve čtrnáctém století totiž stávala na jeho místě tvrz, na jejíchž zbytcích vyrostla po roce 1530 dnešní renesanční budova.

Od té doby čekala Červenou Lhotu ještě řada přestaveb a úprav, než se dočkala dnešní podoby včetně typické červené fasády, která jí dává až kýčovitý nádech.

Ostatně, právě k červenému nátěru se váže jedna z místních pověstí. Lhota prý kdysi bývala bílá, ale její zdi potřísnila krev nehodné zámecké paní, kterou za její skutky odnesl ďábel.

Čert si však ke svému činu nevybral obligátní díru ve stropě, nýbrž okno. Po únosu zůstala na fasádě zámku ohromná rudá skvrna, která odolávala všem pokusům o její odstranění a zámek tak musel být kompletně přetřený.

Historické prameny se však v žádném případě nezmiňují o tom, že by v celých dějinách někdo, byť jen nešťastnou náhodou, z dotyčného okna vypadl. Celý příběh je tedy nutné odkázat do říše lidových báchorek.

Součástí zámeckého areálu je i unikátní přírodně krajinářský park vybudovaný na přelomu 19. a 20. století.V současné době je Červená Lhota oblíbenou destinací nejen turistů, ale díky romantickému vzhledu ji vyhledává i velké množství mladých párů, aby si zde řekly své životní ano.