Zamek zbudował prawdopodobnie książę Olgierd, który zbudował też zamek w Lidzie. W 1381 roku na zamku przebywał Jagiełło, wygnany przez swojego stryja Kiejstuta, którego następnie w Krewie kazał zamordować w roku 1382. W 1385 roku na zamku podpisano unię Litwy i Polski. W 1391 roku ustanowiono na zamku starostwo. W 1503-1506 roku zamek poważnie zniszczyli Tatarzy. W XVI wieku został opuszczony. W XIX wieku na dziedzińcu wybudowano drewniany ratusz miejski. Zamek bardzo ucierpiał podczas I wojny światowej ponieważ zamek przez 3 lata stał na linii frontu. W latach 20. XX wieku władze polskie zaczęły prace konserwatorskie.
Zamek miał plan nieregularny zbliżony do trapezu z dwiema wieżami kwadratowymi po przekątnej. mniejsza wieża miała 3 - kondygnacje, druga większa o wysokości 25 metrów miała sklepione lochy i 4-kondygnacje. Mury miały grubość ok. 2,5 metra i wysokość 11-12 m.
