Va ser construït en el primer moment de la repoblació cristiana aprofitant una antiga torre romana i fou la residència de la família normanda a la ciutat fins el 1171, en què passà a mans del rei de la corona d'Aragó. El castell patí profundes reformes en temps de Jaume II i de Pere III. Perviuen la façana meridional amb diversos finestrals del segle XIV, alguns murs i arcades a l'interior, merlets, i especialment la sala gòtica del pis superior, amb elegants arcs de mig punt que sostenen la coberta plana de fusta. El castell fou parcialment destruït per les tropes franceses el 1813.

Vegeu horaris i preus a Museus i Monuments