Casi al final de la calle Chorrillo y antes de llegar a la Plaza Mayor se encuentra en el nº 3 la CASA DE LAS MUÑECAS, fácilmente identificable por el color azul añil de su fachada.
Cuentan que tras la llegada del emperador Carlos V a Yuste en 1557 se creyó conveniente autorizar la creación de varios prostíbulos en la villa para el entretenimiento de su séquito.
La Casa de las Muñecas, como es conocido este edificio, no es más que uno de estos burdeles (parece ser que hubo al menos otros dos más), y según cuentan era muy frecuentado por la comitiva que acompañaba al emperador.
Una serie de elementos diferenciaban a esta casa del resto de viviendas: principalmente el elemento más distintivo es el color azul de su fachada, pero además una muñeca vestida con un traje típico se encuentra esculpida en el arco de granito sobre la puerta de entrada, también la cerradura posee unos labrados similares y existía un mirador (hoy desaparecido) sobre la entrada que permitía ver a las prostitutas desde la calle.
Los caballeros amantes del placer carnal, solían parar por aquí, bastaba con que se acercasen a la puerta y sin desmontarse del caballo podían ver a través del mirador la balaustrada del patio interior donde se sentaban las chicas, si se decidían a entrar no tenían más que llamar a la puerta y caballo y caballero entraban en la casa, teniendo el burdel unas caballerizas acondicionadas para alojar a los animales.
La tradición ha intentado sin éxito borrar la función de prostíbulo que tenía esta casa pero el grabado de la muñeca sobre el granito, la hermosa balaustrada expositiva, su mirador sobre el dintel de la puerta de entrada y el color añil de la fachada se lo han impedido.
Resulta sorprendente que la casa parroquial del pueblo situada cerca de este edificio se construyera, allá por 1760 con los ingresos obtenidos tras la venta de la Casa de las Muñecas.