Edificado a finales del siglo XV, la revuelta y la guerra de las Comunidades obligaron a que en el siglo XVI fuera rehabilitado, por no decir reconstruido. Destaca por encima de todo su hermoso patio de estilo herreriano. Entre sus paredes falleció a mediados del siglo XVIII el rey Fernando VI, que se había retirado en él un año antes.
El Castillo es declarado en 1949 Bien de Interés Cultural.

Dado que alberga el Archivo Histórico del Ejército del Aire, no están permitidas las visitas habituales. Puede visitarse previa petición de cita en la Oficina Municipal de Turismo

Está situado en la cuenca media del río Guadarrama y a unos 20 kms de la capital.
Las noticias más antiguas que se conocen sobre su población y dentro del actual territorio de Villaviciosa de Odón son de la época visigoda y después de un poblado árabe. Este poblado se llamaba Calatalifa, nombre que procede del árabe Qalát al Halfa, castillo construido en ladrillo (castillo del califa). El castillo árabe de Calatalifa fue mandado construir por Abderramán III en el siglo X. Según cuenta la tradición, el califa, camino de una de sus batallas en el año 939, quedó hondamente impresionado al ver un eclipse total de sol.
Durante la Reconquista fue ocupado por las tropas castellano-leonesas en el avance cristiano que culminó con la conquista de Toledo por Alfonso VI (1085). Constituía un importante puesto de control en el camino tradicional que unía Toledo con el puerto de los Leones, siguiendo el curso del Guadarrama hacia la sierra por las fortalezas de Canales, Olmos y Calatalifa. Esta vía cayó en desuso y subsistió como poblado independiente de la jurisdicción de Segovia, con habitantes cristianos, moros y judíos, que se fue despoblando paulatinamente hasta desaparecer hacia finales del siglo XIII.
Hacia mediados del siglo XV, en 1459, aparece un documento, referido a una compraventa de terrenos, donde figura el nombre de Odón. A finales de este siglo, los Reyes Católicos separan la población de la jurisdicción de Segovia para, unido a otros poblados, cedérselo en Señorío a los marqueses de Moya, don Andrés Cabrera (mayordomo de Enrique IV) y su esposa doña Beatriz de Bobadilla (amiga y dama de la reina Isabel), quienes, en 1496, edifican aquí una fortaleza. Su tercer hijo, don Fernando, heredó el Señorío que incluía la villa de Odón. Don Fernando, fiel a Carlos I durante la Guerra de las Comunidades, sufrió en sus propiedades el asalto y destrozo de fortalezas que realizaron los Comuneros de Segovia. En recompensa a su lealtad, Carlos I le concedió el título de Conde de Chinchón, con el que se inaugura una serie de condes de ese título, vinculado casi dos siglos a la familia Cabrera. Sin embargo, a principios del siglo XVIII, cambió de titularidad de la familia Cabrera a la familia Borbón.
Es en el siglo XVIII cuando se inicia un importante problema sucesorio en la Corona española al fallecer Carlos II sin descendencia. En su testamento, nombra heredero al nieto de Luis XIV de Francia y biznieto de Felipe IV de España; Felipe de Borbón (coronado como Felipe V).
En el reinado de Felipe V de Borbón, tras la Guerra de Sucesión, Villaviciosa adquiere su nombre definitivo y comienza a tener un peso específico relevante entre la nobleza y la realeza de España.
Ligado a la Familia Real como lugar de esparcimiento de la Corte, Villaviciosa de Odón se enriquece con una configuración arquitectónica basada en grandes caseríos castellanos con huertas y viñas.
Años más tarde, el infante don Luis compra el Condado a su hermano don Felipe.
En 1759 fallece el rey Fernando VI en el castillo de Villaviciosa de Odón.
Del reinado de Carlos IV quedó uno de los tesoros del municipio, ya que hereda el Condado doña Teresa y, más tarde, su hija doña Teresa de Borbón y Villabriga (la condesita retratada por Goya), se casa, en 1797, con el poderoso don Manuel Godoy, favorito del rey Carlos IV y dueño durante algunos años del destino de España. En el año 1800, el matrimonio adquiere una casa-palacio, con gran huerta que le venden los herederos del marqués de Villacastel de Carrias. Este edificio se conoce actualmente como Casa de Godoy, que se conserva completamente restaurado. Sin lugar a dudas, dentro de sus muros se tomaron decisiones de importancia histórica en la política española.
Por una de esas paradojas de la vida, el poderoso Godoy, cuando cae en desgracia en 1808 a causa del Motín de Aranjuez, pasa a estar preso en el Castillo de Villaviciosa, propiedad de su esposa. Desde allí, por intervención de Murat, es trasladado a Francia, donde murió muchos años después sin haber vuelto a España.
La primera Escuela de Ingenieros de Montes de España.
Fue en Villaviciosa de Odón donde se fundó la carrera y el Cuerpo de los Ingenieros de Montes hace más de 150 años. En 1847, se estableció la primera Escuela Especial de Ingenieros de Montes en el Castillo de Villaviciosa, bajo la dirección del Ilustre don Bernardo de la Torre y Rojas. El objetivo era impartir a un selecto elenco de alumnos las enseñanzas de la ciencia forestal que, con gran éxito, se desarrollaba en los países de Europa central. La Escuela, creada por Real Decreto de 18 de noviembre de 1846, comenzó a funcionar en agosto de 1847. En 1849, por contrato con el Ayuntamiento, comenzó a utilizar el llamado Prado Redondo como campo de prácticas y plantación de arbolado, dando origen al hoy llamado Bosque Forestal. Tras más de 20 años de funcionamiento, fue trasladada a El Escorial (1870).
Ya en diciembre de 1886, el Colegio de Huérfanos del Real Cuerpo de Carabineros se trasladó, desde El Escorial, al Castillo de Villaviciosa de Odón, donde permaneció hasta principios del siglo XX.
Durante la Guerra Civil (1936-39), Villaviciosa de Odón sufrió relativamente los rigores, más que de las batallas, de la ocupación por unos y otros, que utilizaron el Castillo como puesto de mando y observación, y algunas casas particulares, amplias, como hospitales de campaña.
El Castillo es, desde 1972, sede del Archivo Histórico del Ejército del Aire, después de que, en 1965, se llegara a un acuerdo entre los condes de Chinchón y el mencionado cuerpo.