El antiguo recinto fenicio contenía un faro que da nombre al cerro Gibralfaro (Jbel-Faro, o monte del faro). Fue Abderramán III quién transformó en fortaleza las antiguas ruinas existentes desde antes de la llegada de los romanos. La fortaleza fue ampliada y convertida en alcázar por el rey nazarita Yusuf I en el año 1340. El castillo fue objeto de un fuerte asedio por parte de los Reyes Católicos durante todo el verano de 1487. Tras el asedio, Fernando el Católico lo tomó como residencia, mientras que Isabel I de Castilla optó por vivir en la ciudad.