Op de plek waar nu d’Oude Pastorie staat is eeuwen terug het dorp Netersel (al in 1219 wordt over Netersel geschreven) ontstaan. Naast en in de tuin liggen nog restanten van de fundering van wat eens een kasteeltje was.
Bij dit kasteeltje heeft een kapel gestaan (eerste vermelding dateert van 1340) die later uitgroeide tot een eigen kerkje voor de inwoners van het dan inmiddels gegroeide dorp Netersel.
Later is op een andere (huidige) plaats een nieuwe kerk en een nieuwe pastorie gebouwd waardoor Netersel nu twee pastorieën kent, echter beiden niet meer als dusdanig in gebruik.
D’ oude Pastorie is een van de meest markante gebouwen van Netersel en vanwege haar uitstraling een dankbaar onderwerp voor fotografen, schilders etc. Een afbeelding ervan komt daardoor voor op vele uitingen in boeken, glas in lood, informatie borden, gidsen en zelfs een Netersels kwartetspel.
Lange tijd heeft men gedacht dat die Koninklijke villa (een hofstede waar grote voedselvoorraden bewaard werden) in Netersel bij d’ oude Pastorie gezocht moest worden. Rond 1925 is echter door nieuw archeologisch onderzoek duidelijk geworden dat dat een kasteel(tje) uit de dertiende eeuw betreft en dat het dus niet een villa van Karel de Eenvoudige geweest kan zijn, want die leefde in de tiende eeuw. Door de geschiedenis achterhaald, maar dat is de reden dat Netersel beschikt over een Carolus Simplexplein, vernoemd naar Karel de Eenvoudige. Netersel is een van de Acht Zaligheden, acht dorpen met een naam die eindigt op sel.