Своим названием обязана деревянной многогранной башне, находившейся здесь до кирпичной стены. На Руси «кострами» называли все древние многогранные деревянные башни (костер — способ укладки бревен). Башня называлась также Крылошевской, Костеровской. В 1701—1706 годах была переоборудована под пороховой склад: первый ярус был перекрыт каменным сводом, пол выстлан белым камнем. Так, башня стала называться Пороховой.
Костыревская башня. Сегодня в ней располагается горводоканал
В 1829 году смоленский комендант Керн просил разрешения разобрать башню по ветхости. Император Николай I в ответном письме согласился, но при условии постройки новой башни, «с сохранением стиля и вида древности».
По новому проекту башня стала меньше в диаметре и потеряла первоначальное величие многогранного типа башен, став круглой. Выстроенная башня стала хранилищем для военного архива.
После Великой Отечественной войны в связи с нехваткой жилого фонда башня использовалась под жилье. Сегодня в ней располагается горводоканал.