Madrigal de las Altas Torres es una villa construida alrededor de un montículo, donde se supone que estuvo el castillo feudal de la localidad. Sobre esa predominante loma se encuentra la iglesia de Santa María del Castillo, llamada así porque, según la tradición, se levanta sobre los cimientos de la antigua fortaleza.