Ergens tussen 1000 en 1300 kwam het heerlijk stelsel tot bloei. Het ontstond heel natuurlijk. Het was in oorsprong een vroegmiddeleeuws hiërarchisch systeem waarin vrije mannen (geen slaven of horigen dus) een onderlinge band aangingen. De ene, de leenheer, verschafte de andere, de leenman, een stuk grond of een profijtelijk ambt. Daarbij beloofden zij elkaar trouw te blijven en te steunen in raad en daad. Dat laatste kon betekenen dat men geharnast te paard mee ten strijde trok. De opperste leenman was voor Oosterhout de Duitse koning of keizer; de hertog van Brabant was diens leenman. Dit systeem vermengde zich met de systemen die leenmannen gebruikten om hun bezit te organiseren. Zo ging de leenman zelf optreden als leenheer van de van hem afhankelijke lieden. Zo was de heer van Breda weer een leenman van de hertog van Brabant en de heer van Oosterhout een leenman van de heer van Breda. Deze heren hadden een grote vrijheid van handelen, want hun superieuren, als de hertog van Brabant, zaten ver weg en deden hetzelfde op hoger niveau. In Oosterhout trad vanaf de eerste helft van de twaalfde eeuw de heer van Breda op als regionale en lokale heer. Uit de domeinrekeningen van Oosterhout blijkt dat hij van zijn onderdanen geld, rogge en gevogelte kreeg, dat zij verplichte karweien moesten doen en dat hij hen verplichtte hun graan op zijn molens te laten malen. In later tijd werd dit hele systeem van verkoopbare en vererfbare overheidsmacht, gecombineerd met allerlei privileges, wel aangeduid als ‘feodaal’. Daarmee werd dat woord een soort scheldwoord voor alles wat er mis was onder het Ancien Regime, de maatschappelijke ordening van vóór de Franse en Bataafse revoluties. Het heerlijk stelsel functioneerde tot 1795.