Hvide slot, samt Skenfrith og Grosmont, er en af tre borge bygget for at beskytte en af de vigtigste ruter gennem grænseområdet mellem England og South Wales. i de sene 1130 er kongen Stephen bragt alle tre slotte sammen under et enkelt herredømme, der kontrollerede de tre slotte som en defensiv enhed. I 1180's White Castle synes at have været først af de tre slotte til at blive genopbygget i stenen. White Castle var oprindeligt kaldet Llantilio slot, men fik sit nye navn fra den hvide gips rendering, der dækkede vægge. i begyndelsen af 1200 tallet Hubert de Burgh afholdt herredømme af de tre slotte. Han bygget moderne sten slotte på Grosmont og Skenfrith, men forlod de eksisterende sten forsvar på White Castle. i modsætning til de andre to slotte White Castle synes at have været primært en militær udpost snarere end et hjem for en adelig familie.