Kendati demikian, Lonely Planet menuturkan, bangunan asli masjid tersebut dihancurkan secara menyeluruh.
Masjid telah dibangun kembali setidaknya dua kali. Apa yang tersisa dari Masjid Agung Kairouan kini adalah bangunan yang dibangun oleh Dinasti Aghlabiyyah pada abad ke-9.
Tepatnya oleh Pangeran Ziyadat Allah I, selaku gubernur dinasti tersebut, yang menghancurkan kemudian membangun masjid kembali menggunakan bahan yang lebih kuat seperti batu, batu bata, dan kayu.
Struktur asli yang masih bertahan hingga kini adalah kubah yang dipinjam dari arsitektur Romawi dan Bizantium, dan penopang pendukung yang ditambahkan ke Masjid Agung Kairouan pada abad ke-13.