O zamku w Narwiliszkach nie brak ani faktów historycznych, ani związanych z nimi legend… Twierdzi się, ze zamek w miejscu starego dworu na początku XVI w. wybudował bogaty kupiec ze Wschodnich Prus Vaitiekus Sorcas (Wojciech Szorc), który był zakochany i poślubił miejscową piękność, hrabiankę Dorotę Zienowicz. To dla niej sprytny kupiec oraz śmiały żołnierz z Malborką został w Wielkim Księstwie Litewskim.

Szorcowie - osobistości historyczne, opisane w kronikach. Zachował się nawet portret Doroty Szorc z domu Zienowicz. Znane jest, ze Szorcowie stary dwór kupili za wspólne fundusze i wybudowali ten zamek swych marzeń, trochę przypominający zamki we Włoszech. Ale szczęśliwe życie na zamku nie trwało długo. Wojciech Szorc zginął na wojnie, i jego małżonka została wdowa.

Po śmierci męża Dorota Szorc z domu Zienowicz, krzewiąc chrześcijaństwo, do swojej posiadłości w Surwiliszkach, która kupiła za wspólne fundusze razem z mężem, zaprosiła z Wilna zakonników franciszkanów i w 1617 roku aktem fundacyjnym przekazała im folwark w Narwiliszkach.

Po burzliwych historycznych wydarzeniach w 1832 roku klasztor zamknięto, a zakonnicy zostali przeniesieni do klasztoru franciszkańskiego w Nowogródku. Zamknięto również i kościół. Władza carska przejęła murowany klasztor, kościół i inne budynki. Później drewniany kościół rozebrano, bierwiona przewieziono do Holszan i tam z nich zbudowano cerkiew.

Z cegieł, które dla nowego kościoła kupili jeszcze franciszkanie, w roku 1834 zbudowano koszary. Żołnierze mieszkali również i w starym budynku klasztoru. Koszary tu były do początku XX wieku.

W 1904 roku klasztor i zbudowane przez wojsko rosyjskie dwupiętrowe koszary przekazano ministerstwu rolnictwa i oddano do dyspozycji szkoły rolniczej dla dziewczyn. Na początku I wojny światowej szkole zamknięto.

W 1919 roku klasztor i koszary przejęli mieszkańcy parafii Surwiliszek, którzy chcieli odbudować kościół w Narwiliszkach. Kościół zaczęto budować po trzech latach. Budowę ukończono w roku 1928.

W inwentarzu kościoła, sporządzonym w 1933 roku, napisano, ze podczas zamknięcia klasztoru zakonnicy położyli do kotła 18 000 złotych (w srebrze i zlocie) oraz zakopali przy kościele czy klasztorze. Innych wiadomości o skarbie brak. Nie znaleziono i legendarnego tunelu z Narwiliszek do Holszan, ale mieszkańcy są przekonani, ze on istnieje. Dotychczas udało się znaleźć tylko tunel z zamku do dzwonnicy.