En el siglo XIV, el infante Don Juan Manuel mandó construir un convento dedicado a San Blas en "Los Tobares", a dos km de Cifuentes, que fue ocupado por monjas dominicas. Ese convento se deterioró muy pronto trasladándose las monjas a Lerma. Por ello se construyó en Cifuentes el nuevo edificio en la primer mitad del siglo XVII para alojar a frailes dominicos. En 1625 ya ocupaban los frailes el edificio, según indica el escudo y una inscripción que hay en la entrada, que dice: "Praedicatorum Parenti Ac Primo inquisitori Don Doménico Guzmano Sacrum Anno 1625".
Se trata de un suntuoso edificio con gran portada de severas líneas y escudos de la Orden, rematada por una magnífica espadaña.
Con la Desamortización de Mendizábal, en 1835, se terminó la vida conventual, destinándose a Juzgado y a Cárcel, quedando la iglesia abandonada. En la actualidad acoge las dependencias de Biblioteca Municipal, Sala de Conferencias y Exposiciones, Centro Cultural y Centro de Recepción de Visitantes.