О Петербурге у Алексея Толстого есть воспоминание в поэме «Портрет», написанной октавой «Освобожденного Иерусалима», которую ввел в русскую просодию Шевырев.
Эти строки, несомненно, навеяны детскими впечатлениями, герой поэмы как две капли воды походил на Алешу Толстого. Алексей Алексеевич Перовский, заменивший ему отца, и в самом деле с головой ушел в дела литературные. А мать? Вступив в пору увядания, она жадно уже ловила восторженные взгляды мужчин на балах - напоминание об ушедшей молодости. Анна Алексеевна была добра и щедра, но не знала границ своей воле, сорила деньгами... В магазинах, поставлявших наряды ко двору, она отдала приказ посылать ей те же материи, которые покупались императрицей. На каком-то торжестве Анна Алексеевна появилась в шляпе с белыми страусовыми перьями - точно такой, какая была на императрице. Император Николай Павлович заметил это, и о его недовольстве передали Анне Алексеевне, но та не отступилась от своего тщеславного обыкновения...
Обязанности при дворе появились и у Алеши. По воскресеньям он навещал наследника престола и в Петербурге и в Царском Селе, гулял с ним в саду на Елагином острове. Дети играли не в одни лишь жмурки и жгуты, они устраивали военные учения, стреляли из небольшой пушки. Так хотел царь, воспитатель же наследника Жуковский был полон благих намерений. «Государыня, простите... - писал Василий Андреевич царице о ее старшем сыне, - но страсть к военному ремеслу стеснит его душу: он привыкнет видеть в народе полк, в отечестве - казарму...» Маленький наследник ни в чем себя особенно не проявлял, был просто добродушным мальчиком.
Накануне тридцатого августа, дня своего ангела, он старательно, высовывая от напряжения язык, выводил крупными буквами по карандашным линиям приглашение графу Алексею Толстому. Вместе с Жуковским они были у обедни в церкви Зимнего дворца, а потом наследник показывал подарки, и в первую очередь оловянных солдатиков, присланных его дедушкой из Берлина. Игра в солдатиков оказалась увлекательной, к ней присоединился император Николай Павлович, да еще с таким азартом, что вызвал почтительное недоумение застывших вокруг вельмож, старавшихся, впрочем, мимикой выказывать живейший интерес...
Александра Осиповна Россет, будущая Смирнова, в том же году была свидетельницей схватки между наследником, Сашей Адлербергом, Алешей Толстым и «знаменитым лентяем» Паткулем. Впоследствии в ее бумагах оказалась такая заметка:
«Наследник весь в поту, Саша с оторванным воротником (в то время дети носили большие воротники), Паткуль растрепанный более, чем когда-либо, Алеша красный, как индейский петух, все хохочут как сумасшедшие, счастливые возможностью бороться, кричать, двигаться, размахивать руками. Алеша отличается баснословной силой, он без всякого усилия поднимает их всех, перебрасывает их по очереди через плечо и галопирует с этой ношей, подражая ржанью лошади. Он презабавный и предложил Государю помериться с ним силой. Его Величество сказал ему: