Императорский замок возвышается над площадью Santa Maria delle Carceri, расположенной примерно в 400 м южнее Соборной площади.
Императорский замок в Прато – единственный пример швабской архитектуры в северной части центральной Италии. Цитадель была построена сицилийским архитектором Риккардо да Лентини в 1237-48 годах по распоряжению императора Фридриха II. Предположительно, смерть Фридриха II (1250) не позволила завершить строительство внутренних помещений и построек.В плане крепости лежит квадрат, по углам которого расположены мощные квадратные в основании башни. Башни имеются также посредине каждой стороны крепости, т.е. между двумя угловыми башнями есть ещё одна. Те башни, что расположены посредине восточной стены и южной стены, имеют оригинальное основание – пятиугольник. Башни, находящиеся по центру северной стены и западной стены, когда-то были значительно выше и использовались в качестве сторожевых башен. Согласно некоторым источникам, эти две высокие башни (свою высоту они сохраняли до 18 века) – остатки от более древней крепости Альберти, на месте которой и был возведён Императорский замок.
Замок выстроен из белого известняка. Стены его увенчаны гибеллинскими зубцами – в форме так называемого ласточкиного хвоста.
