En la alta Edad Media aparece en los documentos con el nombre de Oterium de Sellis y más tarde en el siglo XIV evoluciona el topónimo y se puede ver escrita la voz Turresellarum. El topónimo se refiere a su altura, a que está sobre una pequeña colina. En latín altarium da autero que a su vez se convierte en otero y después otor. (O)TOR significa otero, monte y la o inicial suele caer, por lo que queda tor-de sillas.