Давно услышал фразу
Мужчины ревнуют к тем кто был до них...
Женщины ревнуют к тем кто будет после них.

Пожалуй её можно добавить или же обобщить
Но и те и другие сильнее всего ревнуют к тем к кому возвращаются.