Indtil slutningen af 1500-tallet blev de fleste af lav ligger jorden mellem rug og Winchelsea en lavvandede harbour, kaldet Camber, beskyttet fra havet af en lang række singels banker. Mellem 1512 og 1514 Sir Edward Guldeford bygget et cirkulære tårn i slutningen af en af disse singels spits at forsvare havnen. I 1538 truslen om invasion fra katolske Frankrig og Spanien førte Henry VIII at opbygge en kæde af artilleri forter langs den sydlige kyst til at beskytte sårbare og strategiske områder. De eksisterende tårn på Camber blev inkorporeret i et nyt fort bygget mellem 1539 og 1544. Slottet var dog for at have en meget kort aktiv levetid. Ved slutningen af 1500-tallet Sander af Camber gjort slottet stort set forældede og i 1637 garnisonen blev opløst. Opgivelse af slottet har dette tidligt betydet, at i modsætning til andre Henrician forter, såsom Walmer slot, der er blevet væsentligt ændret gennem århundreder, ved Camber Castle det oprindelige design stadig.