El castillo es una construcción del siglo XIV, de origen islámico. Es propiedad de la familia Padilla, de ahí que fuese denominado Casa Fuerte de los Padillas.
Tiene dos entradas, la principal en el lienzo sur, defendida por un matacán y en el lienzo norte un portillo que da a una de las calles del pueblo. Lo más característico, bello y mejor conservado, es la torre del homenaje.
Dos de sus lados dan a las calles del pueblo y los otros dos al actual parque del Castillo, de diez mil metros cuadrados que se halla rodeado por unas rejas en toda su extensión. En los jardines y huertas hay palmeras, pinos, olivos, árboles frutales, viñas, etc. Y en el centro se encuentra un pozo aljibe de indudable tradición morisca.