Однако, заглянем в толковый словарь живого великорусского языка Владимира Даля:
ТУФЕЛЬ
ТУФЕЛЬ м. и туфля ж. немецк. хлопанцы, шарканцы, шаркуны, босовики, комнатная обувь, башмаки без задников, подошва с передком. Туфельная шаркотня, шарканье.
Вот вам и М, и Ж!
gramota.ru и Ожегов признают только женский род, но, учитывая этимологию, спорить с Далем не хочется. Поэтому пусть говорят и пишут как хотят.