Антифоновская башня, она же Антипинская и Антиопийская, сильно пострадала во время осады Смоленска в 1632—1634 годах московским войском воеводы Шеина. В 1633 году она была наполовину разбита пушками осаждающих, которые стреляли по ней со стороны Чёртова рва, также пострадала от взрыва соседней Грановитой башни.
В 1654 году башня во время очередной осады московским войском царя Алексея Михайловича вновь была частично разрушена. В 1665 году Антифоновская башня была перестроена. В 1819 году её полностью разобрали из-за ветхости при прокладывании Лебедевского проезда (ныне — часть улицы Барклая-де-Толли между улицами Маршала Жукова и Исаковского). Прясла стены, прилегавшие к ней, были снесены в 1889—1890 годах, а в 1898 году остатки земляных валов были проданы частным лицам под застройку и в дальнейшем срыты.
10 башен
получили названия от располагающихся рядом церквей и монастырей: Днепровские или Фроловские ворота, Воскресенская, Пятницкие ворота, Никольская, Богословская, Никольские ворота, Заалтарная, Авраамиевские ворота, Лазаревские ворота, Семеновская (Волкова).
8 башен
получили названия от имен собственных: Верзина или Иворовская, Касандаловская, Долгочевская (Шембелева), Зимбулка, Воронина, Стефановская, Гуркина, Позднякова.
14 башен
стали называться от местных топонимов и различных событий: Городецкая, Копытинские ворота, Коломенская, Бублейка, Громовая, Донец, Молоховские ворота, Маховая или Моховая, Антифоновская, Евстафьевская, Орел, Веселуха, Крылашевские ворота, Костыревская.