Ворота были взорваны в ночь на 5 ноября 1812 года (17 ноября н. ст.) оставляющими город войсками Наполеона. Исследователи В. И. Грачёв и С. П. Писарев предполагают, что на месте башни в древности был храм в честь св. Лазаря. С этим и связывают название объекта.

По версии С. П. Писарева, название «Духовские ворота» она получила в связи с тем, что была построена вместо одноимённых ворот, существовавших в «деревянном городе». Однако в Росписном списке 1665 года она названа просто четвероугольной башней.

В 1706 году под башней был оборудован пороховой погреб. На месте объекта в 1889 году была устроена городская водокачка, а рядом с ней, в 1901 году, — станция электрического трамвая (башня стояла как раз напротив депо).

Крепостная стена, прилегающая к башне с обеих сторон, разбиралась в 1812 году, затем в 1830-е гг. В начале XX в. при постройке электрической станции даже бут стены был выломан.

Башня располагалась севернее красной линии современной улицы Соболева, на территории нынешнего учреждения «Горводоканал» (комплекс строений, числящихся за № 5 по улице). На другой стороне дороги находится дом № 8. О том, что когда-то здесь возвышалась защитница Смоленщины — крепостная стена — не осталось ни намёка.