Следует различать путешествие назад во времени и путешествие в прошлое - это принципиально разные вещи!
В первом случае всё время "движется" назад и мы (со всей вселенной?) проходим прежде бывшие состояния в обратной последовательности. Естественно, при этом ни чего не помним о будущем, поскольку оказываемся в состояниях, в которых будущего ещё не было.
Во втором случае наше собственное время продолжает "двигаться" вперёд, а вся вселенная отправляется назад во времени. С чего бы это? Но фантасты любят именно такой оборот.