De første normanniske borg blev bygget på Lydford snart efter erobringen af 1066; resterne af dens jordarbejde kan ses på den sydlige side af St. Petrock kirke. Et nyt tårn blev bygget i 1195, lidt nord for det oprindelige slot, eventuelt til brug som et fængsel. Engang i 1200-tallet det blev totalombygget. A grøften blev gravet omkring tårnet og jorden hobede sig op mod stueetagen til at danne en gravhøj. Toppen to etager blev omdannet til et lille hold, mens stueetagen var fyldt i. samtidig jordvold bailey nordvest blev bygget. Af de tidlige 1700-tals slottet var blevet forladte, men det blev repareret, og for næste århundrede tjente som fængsel og retsbygning, før at blive opgivet endnu og lov til at falde i ruin.