За долгие века своего существования замок в Лиде «повидал» немало. В середине XVII века, во время войны между Речью Посполитой и Московским царством, многотысячное войско Никиты Хованского взяло замок штурмом. Он был полуразбит, и уже не имел стратегического значения. Начался период запустения и постепенного разрушения. В конце XIX в. предприимчивые дельцы из числа местных жителей начали ломать стены замка и распродавать камни и кирпичи. Только благодаря решительному вмешательству остальных горожан вандализм был остановлен.

В начале XX века, по решению императорской археологической комиссии, были начаты работы по консервации замка. В 20-е годы их проводили польские реставраторы, а в 80-е — реставраторы Министерства культуры Белорусской ССР. Они восстановили разрушенные стены и северо-восточную башню.

Работы по восстановлению исторической ценности ведутся и в наши дни. В первую очередь внимание уделяют внешнему виду замка. Разбирают некачественно положенный в советские годы кирпич, заменяя его современным, реконструируют башни. Планируется, что замок станет не просто музеем. Здесь будет магазин, кафе, благоустроенный двор и, конечно, площадки для выставочных экспозиций.