В семье Толстых было четверо сыновей (Николай, Сергей, Дмитрий, Лев) и дочь Мария. После смерти матери воспитанием осиротевших детей занялась дальняя родственница Т.А.Ергольская. В 1837г. семья переехала в Москву, т.к. старшему брату Николаю нужно было поступать в университет. В этом же году умер отец, не оставив после себя практически никакого состояния. В 1840г. опекуншей Толстых становится их тетка П.И.Юшкова, жившая в Казани, и семья переезжает к ней