A biblia a moabiták városaként említi. Kr. e. 850-ben Mesha király alapította, miután győzedelmeskedett izraeliták felett.

106-ban Trajanus császár elfoglalta, és az Arábiai Provincia részévé tette. Madaba gazdag város lett, sorra emelték az oszlopsoros utakat, az ún. cardokat, és középületeket.

Az I. században gyorsan terjedt a kereszténység, de a hívőket a rómaiak üldözték, sokan közülük Diokletianus császár parancsára haltak meg. A 4. században Konstantinus császár uralkodó vallásá tette a kereszténységet a Római Birodalomban.

A keresztény-bizánci korban élte fénykorát. Az 5. században Madabának saját püspökei voltak, akik a számos templomot emeltek a 6-7. századig és gondoskodtak arról, hogy a régi templomokat helyreállítsák és mozaikpadlókkal borítsák. Még az iszlám korban is legalább a 8. századig folytatták a mozaikpadlók építését.

A perzsák 614-ben lerombolták Madabát, majd 746-ban földrengés rázta meg. Hosszú időre lakatlanná vált.