Pierwszy zamek murowany wzniódł w Starych Trokach książę Giedymin, który przeniósł tu stolicę Litwy z grodu Kernavė przed 1321 r. Na zamku urodził się w 1350 roku książę Witold.
Zamek zniszczyli w 1391 roku Krzyżacy i nie został on już odbudowany, ponieważ uznano, że otaczajacy go teren nie jest dostatecznie dobry do obrony przed rycerzami Zakonu. Ruiny zamku zostały nadane benedyktynom przez Witolda w roku 1405. Obecnie znajduje się tam klasztor z XV wieku wykorzystujacy pozostałości ruin zamku Giedymina.
Prace archeologiczne prowadzono w latach 1996-1997.