Крепость противостояла атакам Крестоносцев из Пруссии в 1392 и 1394 гг. В 17 веку замок неоднократно подвергался нападениям и повреждениям. В 1710 году замок был сожжен до основания Шведами. Замок не был восстановлен. После смерти Гедимина Литва была поделена на княжества. Лида стала столицей одного из таких княжеств, усадьбой князя Альгерда.
Лида входила в состав Великого Княжества Литовского во второй половине 14 и 15 вв. Город был ремесленным и торговым центром. Лида была связана с Вильней, Новогрудком, Минском и наиболее тесно с Полоцком. В это время в городе имелся рынок и 4 улицы (Виленская, Замковая, Каменская и Кривая).В 1588 году Лида стала Лидским поветом Виленского воеводства. Магдебургское право Лиде было даровано относительно рано (ок. 16 в.), и затем право было подтверждено польским сеймом в 1776 году. Городу было разрешено проводить две ярмарки в год, но они имели лишь незначительное влияние на местную экономику. Население города в те времена составляло от 2000 до 5000.
17 век был тяжелым для Лиды – она оказалась втянутой в войну между Речью Посполитой, Россией и Швецией. В результате угнетенного состояния населения, люди в массовом порядке начали выезжать из города. К 1786 году в Лиде осталось только 514 жителей.
В начале 1795 года Лида входила в состав Российской Империи.
Город был сильно разрушен во время французской оккупации 1812 года. В 1871 году в городе находилось 770 человек. В 1837 население составило 1366 человек в 324 домах. В 1863 и 1873 гг в Лиде построены два пивных завода. В 1870-1880 гг были открыты табачный, крахмальный заводы.
В 1897 году население города составляло уже 8626 человек. 47,2 % населения было безграмотно.