Efter døden af den walisiske konge, Rhys ap Tewdwr, i 1093, Norman baron, Roger de Montgomery invaderede den afdøde konge landområder i syd-vest Wales og hævdede dem for sig selv. Gjorde han sin base på Pembroke hvor han byggede en borg på en stenet forbjerg mellem floden Pembroke og Monkton pille. Roger sønner tabte slottet til kronen efter en mislykket opstand, og i 1138 kronland af Pembroke var oprettet og givet sammen med slottet, at Gilbert de Clare. Hans søn, Richard 'bue', brugt Pembroke som en base til at indlede en invasion af Irland. På hans død i 1176 afholdt han titlerne jarl af Pembroke og Striguil, Herren på Leinster og Justiciar i Irland. Men han døde uden en mandlig arving og slottet vendt tilbage til kronen, der fortsatte med at bruge det som en bekvem base, hvorfra at overvåge kongelige interesser i Irland.