История синагоги Ла-Гриба восходит к 586 г до нашей эры, когда в результате завоевания Иерусалима Навуходоносором был разрушен главный иудейский храм, и тысячи евреев отправились в изгнание. Часть из них последовала древними торговыми путями и добралась до почти не заселённого южного тунисского острова Джерба. Здесь была основана синагога, а вокруг неё постепенно разрасталось еврейское поселение. Многие местные берберы также переходили в иудаизм.

Возведение синагоги окутано тайнами и легендами. Одна из легенд гласит, что две с половиной тысячи лет назад на этом месте был большой пожар, в котором погибла молодая девушка Гриба. Несмотря на бушующее пламя, тело умершей осталось не тронуто, местные жители признали ее святой, и в честь нее построили синагогу.

Еще одна легенда гласит, что место для возведения синагоги было избрано свыше: с небес упал огромный камень, из которого появилась фигура женщины с длинными волосами, которая и повелела построить дом иудейской молитвы именно в этом месте. Эта же легенда сообщает, что когда последний еврей покинет Джербу (если это когда-нибудь произойдёт), ключи от синагоги вознесутся на небеса.