ג'רבה כונתה באופן מסורתי בפי יהודיה "אי הכוהנים", שהיו רוב בקהילה היהודית באי. "עירנו אי ג'רבה היא עתיקה מאוד", כתב הרב כלפון משה הכהן, רבה הראשי של ג'רבה, במחצית הראשונה של המאה העשרים. "יישוב אחינו בית ישראל בה, להשערת מורנו הרב שאול הכהן, הוא מחורבן בית ראשון, ולהשערת מהרש"א אדאדי מחורבן בית שני". חלק מהמסורות מייחסות את כוהני האי למשפחת בני צדוק הכוהן.
היישוב היהודי בג'רבה נקרא בתחילה "דיגֿת", מילה בשפה הברברית הילידית בצפון אפריקה קודם הכיבוש הערבי. בקהילה פירשו ש"דיגֿת" היא שיבוש המילה "דלת" בעברית – רמז למסורת המקומית שהגולים מיהודה הביאו עמם לאי שער משערי בית המקדש. בבית הכנסת אל־גריבה, שבו התרחש השבוע פיגוע רצחני, מצויה אבן ששולבה באחת מקשתות בית הכנסת, ולפי הטענה הובאה מירושלים.
מבנה בית הכנסת הנוכחי הוא מהמאה ה־19, אולם בית כנסת ניצב כאן כנראה עוד מהמאה הראשונה לספירה לכל הפחות, מה שהופך אותו לאחד מבתי הכנסת העתיקים בעולם. אין רבים כמותו גם בארץ הקודש. הוא נבנה בידי כוהנים מארץ ישראל.