Los restos del antiguo castillo que se cree que se construyó durante el periodo musulmán, aunque más tarde fue remodelado y posteriormente destruido. A finales de 1.839, durante la primera guerra Carlista el general Cabrera, antes de abandonar La Fresneda, ordenó destruir el castillo y edificios fortificados con objeto de evitar su uso por las tropas contrarias.