16e eeuw: Een voorgeschiedenis
In de tweede helft van de zestiende eeuw werden in veel steden burgerweeshuizen opgericht. In ’s-Hertogenbosch gebeurde dat in 1566. Burgerweeshuizen waren uitsluitend bestemd voor inwoners met burgerrecht. Na de inlijving van de stad bij de Republiek der Verenigde Nederlanden, in 1629, kregen de kinderen in het burgerweeshuis een gereformeerde opvoeding. Katholieken kozen daarom meestal voor het onderbrengen (besteding) van weeskinderen in eigen kring.
Omstreeks 1693 vroeg de Bossche bankier Willem van Bree toestemming aan de Staten Generaal voor de oprichting van een Rooms weeshuis, dat hij uit eigen zak wilde betalen. Toen dat niet lukte, staken Willem en zijn broer Ignatius hun kapitaal in de aankoop van twee prestigieuze panden in de Keizerstraat. De panden hadden behoord tot een vijftiende-eeuws stadspaleis, het Hof van Zevenbergen. Het dankte zijn naam aan de toenmalige eigenaar, de heer van Zevenbergen, die goede banden had met het Habsburgse hof. In 1515 heeft prins Karel (de latere keizer) er bij zijn bezoek aan de stad gelogeerd.