Sus preferidos eran los pobres. La gente se admiraba de que siendo hijo de un rey, nunca ni en sus palabras ni en su trato se mostraba orgulloso o despreciador con ninguno, ni siquiera con los más miserables y antipáticos. Un biógrafo (enviado por el Papa León X a recoger datos acerca de él) afirma que la caridad de Casimiro era casi increíble, un verdadero don del Espíritu Santo. Que el amor tan grande que le tenía a Dios, lo llevaba a amar inmensamente al prójimo, y que nada le era tan agradable y apetecible como la entrega de todos sus bienes en favor de los más necesitados, y no sólo de sus bienes materiales, sino de su tiempo, sus energías, de su influencia respecto a su padre y de su inteligencia. Que prefería siempre a los más afligidos, a los más pobres, a los extranjeros que no tenían a nadie que los socorriera, y a los enfermos. Que defendía a los miserables y por eso el pueblo lo llamaba "el defensor de los pobres".
