Кайруан, что значит «караван», в средние века являлся столицей до ее переноса в город Тунис. Первая мечеть Кайруана была построена в 670 году, вскоре после прихода арабов-мусульман в Северную Африку. Храм заложил основатель города Сиди Окба, поэтому комплекс также известен как мечеть Сиди Окба. Нынешнее здание построил эмир Абу Ибрагим Ахмад в 863 году.

Построена арабским военачальником Укбой ибн Нафи примерно в 670 году н.э. (50 году по исламскому календарю) во время строительства города Кайруан. Мечеть занимает площадь в 9000 квадратных метров и является одним из древнейших мест богослужения в исламском мире; также она стала прообразом для всех более поздних по времени строительства мечетей в Магрибе. Великая мечеть в Кайруане считается одним из самых впечатляющих и крупнейших памятников исламской архитектуры в Северной Африке, её периметр составляет почти 405 метров.

На протяжении веков Большая мечеть Кайруана служила местом паломничества для выходцев из Северной Африки, которые не могли осуществить долгую поездку в Мекку. По народному поверью, семь поездок в Кайруан стоили одного посещения Мекки.