Intussen
begonnen de graven van Holland hun invloed in deze regio steeds meer te vergroten o.a. door aankoop van ambacht en
tienden in Schakerloo. Zij kregen hier zoveel macht, dat toen het land van Breda werd gesplitst in 1287, Schakerloo
nog slechts pro forma werd gerekend tot het land van Bergen op Zoom Graaf Willem II beleende Hendrik Buffel met land,
ambacht en tienden van geheel Schakerloo in 1248. Dat de helft van het leen van Schakerloo nog steeds aan de heer van
Breda toebehoorde, schijnt geen struikelblok geweest te zijn. Daarnaast werd Hendrik Buffel in 1249 erfelijk beleend
met het tweede deel (van de onderscheiden drie delen van de Vriezendijkse moeren met ambacht en tienden. In 1249 werd
bovendien de erfopvolging in Hendriks grafelijke lenen dusdanig geregeld dat de graaf van Holland ze als Zeeuwse
lenen zag, waarover de hertog van Brabant geen zeggenschap meer had. Niettemin noemde de hertog van Brabant rond 1400
nog als westgrens van zijn hertogdom de Vosvliethille.
De Vriezendijkse moeren bestonden uit drie parten, waarvan
Hendrik Buffel er één in leen hield, een ander deel was van de heer van Breda en het derde deel is waarschijnlijk ook
omstreeks 1249 in leen gegeven aan Allard, zoon van Margaretha van Duvenee .Dit blijkt uit een vernieuwing van de
oorkonde in 1256 door Floris, ruwaard van Holland, omdat Allards eerdere uitgiftebrief 'hem dieflicken ontnomen' was.
In een oorkonde van 14 mei 1264 is er zelfs sprake van ingezetenen van Vriezendijke die
door Otto III van Gelre, ruwaard van Holland en Zeeland, gelast worden gehoorzaam te zijn aan heer Hendrik Buffel.
Heer Hendrik werd opgevolgd door zijn zoon. Hendrik Hendrikszoon Buffel.
In 1271 werd de akte nogmaals bekrachtigd door Floris V. Een 15e eeuws afschrift van de oorkonde uit 1256 bevindt
zich in het archief van de ambachtsheerlijkheid. Zoals men ook afschriften heeft van uitgiftebrieven van omliggende
gebieden, zo is men zich bewust geweest van de relevantie van deze oorkonde, al was her maar om eventueel aanspraken
vanuit Brabant af te wijzen.
De strijd die ontbrandde bij de erfopvolging van Jan I van Holland
had ingrijpende gevolgen voor Hendrik Hz. Evenals veel andere Zeeuwse edelen had hij partij tegen Jan van Avennes
gekozen. Bij de slag op de Gouwe bij Zierikzee in 1304 viel hij in de handen van de vijand en werd hij onthoofd. Zijn
goederen werden verbeurd verklaard en vervielen aan de graaflijkheid. Hertog Jan II van Brabant had ook de oorlog met
zijn naamgenoot verloren, (Mijn voorvader Henry de Bogaerde was leenman van Jan II !) zodat
de heer van Breda zijn invloed op de Vriezendijkse moeren wel kon vergeten. Voor het lot van Allard van Duvenee valt
ook te vrezen omdat zijn gronden van Nieuw-Strijen (de verzande Strienemond) in 1307 aan Boudewijn van Yerseke ter
bedijking werden uitgegeven. Tholen en het ambacht Schakerloo kwamen in het bezit van Jan van Beaumont in 1316. Een
beleningsoorkonde is niet voor handen. De Vriezendijkse moeren verdwijnen uit de geschiedenis.
Als een van de
voornaamste oorzaken van de Hoekse- en Kabeljauwse twisten noemt Jansen de verarming van de adel in de veertiende
eeuw. Slechts enkele geslachten zoals Van Borsselen, Van Renesse, Bloys konden hun status als edelman voldoende
ophouden, hoewel ook zij met financiële problemen kampten. Het grootste deel van de edellieden kon echter het hoofd
niet boven water houden. Een van de mogelijkheden om de adellijke status niet te verliezen was het verkrijgen van een
ambtelijke functie of een ambacht. Toen de bedeling van functies en gunsten in handen kwam van een klein aantal
families, met de Van Duvenvoordes voorop, groeiden de tegenstellingen en ontstonden de facties. Het aantal te
verdelen ambten onder 'de lieven vrienden' was natuurlijk beperkt, maar wat veel erger was, was het teruglopen van de
te begeven ambachten.
Zolang er voldoende onontgonnen gebied was, kon de vorming van heerlijkheden doorgaan. Deze
lucratieve bezigheid nam sterk af als gevolg van de economische malaise, een teruglopende bevolking op het platteland
en een stijgende zeespiegel waardoor de bedijkingsactiviteiten terugliepen. In de 14e eeuw traden grote landverliezen
op.
Opvallend is echter dat dit verhaal niet geldt voor o.a. het eiland Tholen. Tussen 1300 en 1400 zijn op Tholen
wel gebieden ingepolderd, weliswaar geen schorgronden maar veelal oud land. Later, in de periode 1350-1450, begint de
zeespiegel ook in dit gebied te stijgen, zij het geleidelijk en niet meer zo abrupt. De zee is minder rumoerig, iets
wat onder andere blijkt uit de geringere frequentie van dijkdoorbraken in vergelijking met de rest van Zeeland tussen
1400 en 1500.