раф Петр Борисович Шереметев овдовел, когда ему исполнилось только 54 года, он пережил свою супругу на 20 лет. В годы вдовства у него имелись одна или даже несколько невенчанных жен, скорее всего из крепостных, что в то время для человека его социального и имущественного положения было в порядке вещей.

В его доме росли не только законные, но и внебрачные дети. Они были записаны под фамилией Реметевых. Такие «усеченные фамилии» получали в XVIII и в начале XIX веков внебрачные дети, если родитель их признавал и воспитывал, но по разным причинам не мог признать их законными детьми. Юридически такие внебрачные дети именовались «воспитанниками».

Старшая из внебрачных детей, Анастасия Петровна Реметева, родилась в 1772 году, в декабре 1775 года родился сын Яков Петрович Реметев и в марте 1779 года дочь Маргарита Петровна Реметева. Они были материально обеспечены отцом, граф Петр Борисович определил им пенсию 2000 рублей в год. Реметевы поддерживали отношения со своим единокровным братом графом Николаем Петровичем Шереметевым.