La vila de Rialp neix entorn del seu castell. Situat a la dreta de la Noguera Pallaresa, controlava l'entrada de la vall d'Àssua i el pas cap a les valls de l'Alt Pallars. El castell fou en un principi una torre avançada del castell de Surp. Després passà a ser el castell més important de la vall d'Àssua dins la baronia dels Bellera, primer; dels comtes de Foix, després, i de la senyoria dels Oliver Boteller al segle XVI, fins que a la dècada de 1580 s'integrà a la corona reial com a cap del cinquè quarter del vescomtat de Castellbò.