Tras la inoperancia de la Torre del Conde como defensa, las Autoridades militares intentarán rehabilitar dicho enclave, pero se centrarán a partir de la segunda mitad del siglo XVII, con apoyo señorial, en la construcción de un castillo que defendiese la Villa de los ataques de piratas.
Atendiendo a planos de Miguel Tiburcio Rosea, aparecerá las primeras referencias de su construcción e integrado en la morfología urbana de La Villa en 1718. De planta trapezoidal, al pió del Llano de la Horca, junto a la playa, conocerá una ampliación en el siglo XVIII hacia el norte, creándose una segunda edificación como patio de armas.
Permanecerá en pié hasta 1946, como destacamento militar, pasando a partir de ese momento a ser propiedad del Ayuntamiento, donde su ala norte se utilizará como mercado municipal y, el sur como escuela, cárcel y ciudadela.
Será en la década de lo 60, cuando el viejo castillo será demolido y siendo reemplazado por edificios públicos: el Ayuntamiento, La Delegación del Gobierno y el Instituto Social de la Marina.
