El Casón del Buen Retiro no suele ser de los lugares que quienes visitan Madrid quieran incluir en su itinerario.. Más bien se lo encuentran por casualidad, en su trayecto hacia el Museo Nacional del Prado, o de la Iglesia De Los Jeronimos hacia el Parque del Retiro, o viceversa..

El Casón del Buen Retiro es uno de los dos únicos edificios que han sobrevivido a la destrucción del Palacio del Buen Retiro, del que toma su nombre. En la actualidad acoge el Centro de Estudios del Museo del Prado, que cuenta con una espectacular biblioteca de arte donde se puede disfrutar libremente de los bellos frescos de Luca Giordano que decoran la bóveda del antiguo Salón de Baile.

Fue construido en 1637 con un proyecto de Alonso Carbonell. Su fachada principal, a poniente, es de Velázquez Bosco. La última rehabilitación ha sido realizada por Jaime Torruell.

El edificio albergó durante varias décadas las colecciones de pintura del siglo XIX propiedad del Prado, unos 3000 cuadros. Asimismo expuso también el Guernica de Picasso desde que el célebre cuadro llegó de los Estados Unidos. En 1992 la obra de Picasso se trasladó al Museo Reina Sofía y el Casón se cerró para ser sometido a una importante rehabilitación.

En la actualidad, ya rehabilitado, acoge la biblioteca del Museo del Prado, una de las mejores y más desconocidas bibliotecas de arte de Madrid. Está especializada en pintura y escultura desde la Edad Media hasta el siglo XIX y tiene también importantes fondos relativos a dibujos, estampas, escultura clásica y artes decorativas. Alberga una colección de más de 150 000 libros, entre monografías y obras de referencia, 1500 títulos de revistas, 260 títulos de catálogos de subastas, materiales audiovisuales, recursos electrónicos especializados, carteles y folletos y conserva un destacado patrimonio bibliográfico, de impresos y manuscritos anteriores a 1900, de notable importancia por su cantidad (7000 volúmenes), por su carácter especializado (tratados de pintura y arquitectura, libros de fiestas, cartillas de dibujo y libros de iconografía, emblemas, anatomía y fisiognomía) y por la rareza de algunos de sus ejemplares.