Repartidas las tierras entre las huestes conquistadoras tras la Reconquista, y acogiendo los núcleos de población a labradores y jornaleros, se antepuso al nombre de las tres aldeas que en esta zona se ubicaron, la palabra
Torre, en referencia al inmueble del que supuestamente surgieron. La más cercana a
Cáceres, la aldea de Torre de Aolgaz, o Torre de Argaz, más tarde conocida como
Torreorgaz, en cuyo flanco suroccidental se encuentra sobre una suave colina y sencillos berruecos, una torre construida con sillares graníticos regulares, reutilizada por la
familia de los Ulloa o mandada construir directamente por éstos, tras haber adquirido este linaje, de gran peso en la vida y política de la otrora villa cacereña en los últimos siglos del
medievo, la aldea en sí, formando D. Diego García de Ulloa el Señorío de Torreorgaz a finales del siglo XV. Junto a la torre, de tres plantas más
terraza, se edificaron una serie de dependencias a base de mampostería con sillares en
esquinas y
portadas, cuyos muros destacan al confrontarse frente al limpio sillar de la atalaya, lo cual permite pensar a la mayoría de los estudiosos que si bien la torre no es musulmana, pudo erigirse en el siglo XIII siendo adquirida después por los Ulloa en el XV, dando lugar al
castillo que hoy conocemos tras la unión de torre y
casa fuerte adyacente. Esta pequeña fortaleza formaría parte del grupo de fortificaciones y
palacios amurallados erigidos al sur de Cáceres, dominando las
fincas, dehesas y cotos en que se dividieron estos terrenos meridionales, repartidos entre la nobleza local, destacando ésta, junto a la de Zamarrillas o la Torrecilla de Lagartera entre aquéllas levantadas junto a la vega del
río Salor. Años más tarde, y en honor a Don Gonzalo de Ulloa y Carvajal, IV Señor de Torreorgaz, más conocido como el Cachorro, se nombraría con tal apodo tanto al castillo como a la dehesa sobre la que se asienta el mismo, tal y como se sigue denominando hoy en día.