W przeszłości istniał tu drewniany dwór myśliwski (potem królewski) z kamienną wieżą, zwany „zamkiem”. W XVIII wieku odbywały się tutaj sejmiki – tzw. „generały województwa rawskiego”. Według legendy, zameczek połączony był podziemnym przejściem z położonym nieopodal kościołem pw. św. Anny. Dawniej Bolimów posiadał niemal obronne położenie. Znajdował się na „wyspie”, otoczonej rzeką Rawką i jej odnogami.