El castillo de Vimianzo fue construido entre finales del siglo XII y principios del XIII por los Mariño de Lobeira. De la primitiva fortaleza sólo quedan los restos de lo
que pudo ser una torre del homenaje, en el actual patio de armas. A comienzos del siglo XV pasa a manos de la familia Moscoso, y desde entonces fue objeto de encarnizadas
disputas por parte del Arzobispo de Santiago y los Moscoso, dos de los poderes más importantes de la Galicia Medieval. Los Moscoso conseguirían el título de Condes de Altamira y llegaron a convertirse en una de las familias nobiliarias con más influencia de la Península.
En 1.467 se producen las Guerras Irmandiñas en las que el pueblo, cansado de las opresiones económicas de los señores feudales, toma esta forteleza, aunque la rebelión no duró mucho tiempo. El Arzobispo de Santiago Alonso II de Fonseca se apodera del castillo en el año 1.472, para su reconstrucción después de las revueltas populares. Pero unos años más tarde Lope Sánchez de Moscoso, que se autoproclamó el primer Conde de Altamira, volverá a Galicia para recuperar su propiedad, por lo que pertenecerá a esta familia hasta el siglo XIX.
En el año 1.870 el castillo es adquirido por Ramón Martelo Núñez, presidente de la Diputación de A Coruña, y su hijo, el poeta Evaristo Martelo, lo restaura para convertirlo en su residencia de verano. En 1965 el edificio sufre un devastador incendio, y, posteriormente Dolores Martelo de la Maza lega esta propiedad al Arzobispado de Santiago, que en 1.973 la venderá a la Diputación de A Coruña.
La Diputación rehabilitó el castillo para dedicarlo a uso público, y actualmente está gestionado por el Concello de Vimianzo. La fortaleza de origen medieval se encuentra en muy buen estado de conservación y está convertida en un museo de artesanía vivo en el que durante todo el año se pueden contemplar palilleiras, artesanas del lino, cestería, plata y vidrio, olería de Buño, cuero y maquetas de barcos, con exposiciones permanentes de estos trabajos artesanales. El castillo está abierto todos los días del año, excepto los lunes y la entrada es gratuita. En una de las torres hay un centro de interpretación de A Costa da Morte.
La fortaleza cuenta con murallas y foso, sobre el que se tiende un puente elevado. El edificio está construido en planta poligonal y tiene cuatro torres y un patio de armas, con unos fuertes muros de casi dos metros de grosor. Está situado en la entrada del pueblo al lado de la carretera comarcal 552. Su estratégica situación parece ser la causa de las contínuas luchas en el pasado entre la mitra compostelana y los Moscoso, ya que su proximidad a la costa permitía controlar las rutas comerciales del mar del norte, los negocios de la sardina y del sal, y los suculentos botines de los barcos que naufragaban en la costa.