In 1983, het jaar dat de gemeente Oudenbosch voor de prijs van 1 gulden eigenaar werd van gronden van de voormalige moes- en groentetuin, besloot de gemeenteraad dit gebied in te richten als arboretum. Omdat het gemeentebestuur er in de jaren daarna zelf niet in slaagde om dat te realiseren, is in 1986 Wim Rennings aangezocht om dat als particulier initiatief voor elkaar te boksen. Met de hem toegezegde investeringssubsidie van 50.000 gulden en de kring van circa tien vrijwilligers die hij al snel om zich heen verzamelde, is dat gelukt. Op 13 juli 1987 is stichting Arboretum Oudenbosch officieel bij notariële akte opgericht. Vanaf dat moment gaat het snel.
Met het ontwerp van landschapsarchitect Anton van Rooijen is voortvarend gewerkt aan de basis -infrastructuur van de tuin. In 1996 zijn de aanliggende siertuinen verkregen en in het oorspronkelijke ontwerp ingepast. Het unieke entreegebouw, een rijksmonument, is in 2002 door de gemeente van de broeders aangekocht. Het is de voormalige bakkerij van de paters Jezuïeten, in 1890 gebouwd door Nico Molenaar, leerling van Pierre Cuypers, die in latere jaren in gebruik was als hobbyruimte. Dat verklaart de naam ‘paleis van volksvlijt’ die nog wel eens wordt gebruikt. Het gebouw is tussen 2002 en 2009 geheel door vrijwilligers gerenoveerd.