A Torre do Castro foi construída nunha zona elevada e estratéxica na vía de paso natural entre os vales do Limia e do Arnoia. Edificada, segundo os datos históricos, no século XII, a súa orixe está envolta entre supersticións e lendas.

A súa faciana actual semella ser a resultante de atender as loitas fronteirizas entre Afonso VII de Castela e León e Afonso I de Portugal. Ambos loitando pola posesión do condado da Limia. Malia a isto a torre foi testemuña de diferentes batallas, de loitas nobiliarias e do levantamento Irmandiño no século XV.

Non se trata da única torre visible apta para a visita na zona. Xunto con outras aínda en pé como a de Pena en Xinzo da Limia e da Forxa en Porqueira, forma parte dun conxunto de fortalezas consideradas “gardiás” da Limia. Estas torres, algunhas desaparecidas xa como a de Celme en Rairiz da Veiga ou Canderrei en Trasmiras,  comunicábanse visualmente entre si.

Segundo algúns investigadores, a Torre do Castro chegou mesmo a ser asaltada polo Duque de Lancaster no século XIV, nas súas ansias de reclamar o trono de Castela. Xa na seguinte centuria estaría en posesión de Alonso Pimentel, conde de Benavente e señor da vila de Allariz. Tempo despois, na segunda Revolta Irmandiña (1467), foi derrubada e queimada da man dos homes de Alonso de Paredes e a colaboración dun servinte dos sitiados.

Na guerra hispano-lusitana do século XVII e XVIII que levaría á restauración da independencia portuguesa, foi punto de concentración de tropas para a súa posterior distribución a diferentes puntos da fronteira.

Actualmente, e logo de décadas de desuso, da fortificación previa só resta parte da torre da homenaxe, consolidada no ano 2020. Esta torre, con muros de grande grosor e planta cuadrangular, estaba composta por soto, tres pisos e terraza. Sábese, grazas aos restos conservados, como sería a súa distribución. Dende o primeiro piso accedíase ao resto de andares por medio de escaleiras de madeira. O acceso á terraza superior faise mediante unha escaleira interior no muro.