Las estrechas calles del pueblo son de origen medieval. Castellfollit de la Roca forma el término municipal más pequeño de Catalunya, con menos de 1 km² de superficie, de las que el núcleo urbano solo ocupa unas 35 hectáreas. La mayor parte de las casas fueron construidas con las rocas volcánicas de la comarca.