Дюны, которые составляют остров, образовались около 400 тыс. лет назад и имеют высоту до 240 м. Здесь находятся более 40 пресных «висячих» озёр. Западное побережье Фрейзера занимают мангровые леса и болота, восточное (обращённое к океану) — пляж из белого песка длиной около 100 км.

Большая часть острова, на которой сохранились нетронутые влажные тропическая леса (площадью около 1645 км²), является частью национального парка Грейт-Сэнди. В хорошо прогреваемых озёрах водятся пресноводные черепахи, на суше встречается дикая собака Динго.

До европейской колонизации на острове проживало несколько тысяч аборигенов. На языке батчулла он именовался Кгари — «рай». Современное название острова связано с фамилией капитана Фрейзера, корабль которого потерпел крушение на острове.

В 1992 остров Фрейзер был включён в список Всемирного наследия ЮНЕСКО как неповторимый природный памятник.