А с чего вдруг ему думать,что изменяешь?
Не хочу говорить ничего плохого, но обычно мужчины просто так этого не говорят ( ведь это может обидеть). Тут только 2 варианта, либо ты даешь поводы для ревности, либо он накосячил и теперь таким образом пытается себя оправдать ( типичная ситуация обоснованная исследованиями психологов, что когда мужчина косячит он пытается себя мысленно оправдать и когда не выходит, он начинает срываться на женщине)

Маленький_мам, я то ему поводов как раз не даю, скорее он мне. да был один грешок, давно, да, это он так пытается оправдаться за мой счет, хотя сам в этом вряд ли признается.