El castillo fue construido entre los siglos XIV y XVI. Perteneció a las familias Herrera y Fernández de Velasco (duques de Frías y condestables de Castilla). En 1529 los hijos del rey de Francia, Francisco I, fueron rehenes en este castillo.
Actualmente pertenece a los herederos del pintor Ignacio Zuloaga, que lo utilizan como vivienda y museo. Fue declarado Conjunto Monumental en 1951.