Местность в округе Кардифф была пожалована Вильгельмом роду де Клэр сразу же после завоевания Англии. Но де Клэр, одни из Лордов Границы не видели особого смысла в укреплении лежащих далеко от непокоренного коренного Уэльса земель. Только обьединение Уэльса принцем Ллевелином заставило их задуматься о возможной угрозе и строительстве настоящего замка. Но как только решение было принято, Гилберт де Клэр, граф Глочестер и Хертфорд (Gilbert de Clare, Earl of Gloucester and Hertford) начал масштабное строительство концентрического замка в Каэрфили в 1268 году.
В течение двух лет был построен мощный концентрический замок общей площадью 30 гектаров, второй по величине на британских островах после Виндзора (хотя большая часть Виндзора представляет из себя скорее дворец чем укреплённый замок и построена несколько позже). Новейшие достижения фортификации были применены для того, чтобы защитить замок. Сильно укреплённая дамба не только создала искусственное озеро вокруг замка, но и защитила своей массой внешний контур стены. Вода окружает замок с трёх сторон (север, запад, юг), а на востоке он защищён особенно мощными стенами. На западе подход к стенам замка прикрывает укреплённый остров.
В 1270 и 1271 году замок выдержал атаки войск Ллевелина и после не участвовал в уэльских войнах Эдуарда Первого.
После смерти сына Гилберта де Клэра, замок перешёл к Хью Деспенсеру, фавориту короля Эдуарда Второго. Когда королева Изабелла и её любовник Роджер Мортимер начали против Эдуарда войну и выиграли несколько сражений, тот попытался укрыться в замке Каэрфили. Когда замок был осаждён, неудачливый король бежал, оставив в замке свою казну и свой гардероб. Тем не менее, Изабелла продолжила осаду и через несколько месяцев замок сдался. Казна Эдуарда Второго попала к Изабелле, а Хью Деспенсер был обезглавлен.
Следующее серьёзное событие в истории замка - его молниеносный захват Оуэйном Глиндуром в начале пятнадцатого века во время последнего восстания за независимость Уэльса.
После этого замок оставался в стороне от событий и был просто административным центром округи.
После Гражданской Войны по приказу Кромвеля замок должен был быть разрушен, но окончательного разрушения не произошло. Качество постройки было слишком высоким и потребовало столь много пороха, что всё ограничилось подрывом нескольких башен и участка стены. Полуразрушенная башня, стоящая под неописуемым углом демонстрирует качество древней постройки. Больший вред замку нанесло изьятие камня на местные постройки.
