Остатки терема находятся к востоку от Успенского Собора, на краю Соборной горы, под землей. Возведенный в середине XII века он был теремом князя Ростислава — родоначальника смоленских князей. В 1611 году при взятии Смоленска поляками терем был разрушен. Сохранившиеся в высоту 1,5 метра две смежные стены здания, сложенные из плинфы, раскопаны в 1965 году.
Важную роль в укреплении и развитии православия на Смоленщине сыграл внук Владимира Мономаха — Ростислав Мстиславич (смоленский князь в 1125/1127−1159 годах), названный современниками Набожным (то есть усердно молившийся Богу, глубоко верующий в Бога).
Князь Ростислав стал основоположником династии смоленских князей Ростиславичей. Стремясь поднять значение Смоленской земли, он в 1136 году учредил в Смоленске архиерейскую кафедру — место пребывания православного епископа. При князе Ростиславе в 1140-е годы Успенский храм получил статус кафедрального собора.
От места нахождения княжеского терема открывается живописный вид на восточную часть Смоленской крепости, Днепр и Заднепровье.