Пушкин Пушкиным, но по пути из Петербурга в Москву и обратно постояльцами гостиницы были многие деятели русской культуры (в 1840-х – В.Г. Белинский, И.С. Тургенев, в 1856 г. – А.Н. Островский, в 1881 году – Л.Н. Толстой и др.). До соединения двух столиц – старой и новой – железной дорогой при проезде через Торжок в гостинице Федухина-Пожарского постоянно останавливалась императорская фамилия. Гостиница на Ямской стала приютом для многих талантливых поэтов и писателей.
Кстати, она была недешевым заведением, но держать марку безукоризненно к концу 1830-х годов стало трудно. Вот почему в начале 1840 года Дарья Евдокимовна обращается с прошением в губернскую дорожную и строительную комиссию о строительстве деревянного на каменном низе дома. При доме указывались постройки: деревянная на каменном фундаменте кухня, каретный сарай, конюшни, погреба.
Постройка 18 века была разобрана, и в течение последних летних и осенних месяцев стремительно шло строительство нового здания, большего по размеру, чем предыдущее. Новая гостиница Пожарских была возведена в стиле ампир: нижний этаж – кирпичный, верхний – деревянный, здание оштукатурено. Особую нарядность придавали эркеры – окна-фонари. Пожарская тщательно готовилась к открытию гостиницы. Была закуплена роскошная мебель, картины, зеркала, занавески, предметы гостиничного быта – все самое модное и дорогое, какого не было ни в одной из гостиниц по всей Государевой дороге.