После арабского завоевания Иерусалима в 637 г.,  новые правители правителей отремонтировали крепость, которая выдержала натиск крестоносцев в 1099 г. и сдался только тогда, когда его защитников было гарантировано безопасный выход из города.

В течение периода крестоносцев тысячи паломников прибывали в Иерусалим через порт в Яффе. Для защиты паломников от грабителей крестоносцы построили башню, окруженный рвом с водой на вершине Цитадели и разместил дозорных для охраны яффской дороги. Цитадель также служил резиденцией королей Иерусалимского королевства.

В 1187 г. султан Саладин захватил город. Мамлюки разрушили Цитадель в 1260 г., а затем восстановили её. Крепость была перестроена еще раз между 1537 и 1541 гг. османами, которые построили необычные трёхарочные ворота, за которым стояли пушки.

В течение 400 лет крепость служила гарнизоном турецких войск. Турки построили мечети и минарет, который стоит до сих пор. Именно в это время весь комплекс стали называть Башня Давида в честь царя-основателя Иерусалима.

Свою роль правительственного центра, сохранявшуюся на протяжении всего османского периода, цитадель окончательно утратила после завоевания города англичанами в Первой мировой войне. Британские власти перенесли управление городом за пределы древних стен, в новые кварталы. Сэр Рональд Сторрз, первый губернатор Иерусалима в годы британского мандата, надеялся объединить раздробленный на этнические и религиозные общины город и формировал в нем особенную, объединяющую все стороны культуру. В 1918 году Сторрз основал Pro-Jerusalem Society – Общество развития Иерусалима с целью сохранения уникальных городских ценностей, защиты исторических зданий и предметов старины, обнаруженных в нем, а также создания общественных учреждений, музеев, библиотек и галерей. Губернатор был убежден, что древняя цитадель идеально подходит для проведения культурных мероприятий. В 1921 году там был создан небольшой музей. А первым состоявшимся здесь в тот же год культурным событием стал концерт хаззанута – канторского еврейского пения с участием выдающегося хаззана Звулуна Квартина. В наше время в ознаменование этого исторического события музей вот уже двадцать лет подряд проводит ежегодный праздничный концерт. В итоге цитадель стала культурным центром и оставалась им на протяжении почти трех десятилетий, вплоть до Войны за независимость, когда Старый город был оккупирован иорданцами, а крепость оказалась заброшенной.

В период британского мандата (1917-1948) британский верховный комиссар учредила общества по охране культурного наследия Иерусалима. Эта организация произвела чистку и ремонт Цитадели очистку и ремонт крепости и открыла её для посещения публики, проведения концертов и выставок местных художников.