C'est dans la petite plaine alluviale de la baie de Vauville que d'un vaste champ herbu et plat de huit hectares en légère déclivité vers la mer qu'est né le jardin. C'est Eric Pellerin qui, à partir de 1948, décida parallèlement aux travaux de reconstruction d'une maison à l'architecture durement éprouvée par des années de guerres, d'occupation et de pillage, de procéder aux premières plantations. Ayant percé vers l'Est le mur d'enceinte ceinturant le château, il commença à planter avec une certaine audace et dans l'abri naturel des anciennes douves, ce que furent les premières plantations (Un cyprès de Lambert) et les premiers pas du jardin.

Sur cette pièce de terre battue par les vents d'Ouest insistants, il profita de la position abritée de cette partie du terrain, de la masse des bâtiments tout proches et de la présence du mur d'enceinte constituant les premiers brises vents.L'étude des relevés des températures confirma que la dérive Nord Atlantique du Gulf Stream accordait à la baie de Vauville un climat particulier, au différentiel de température réduit. Si l'été ne dépasse que rarement les 28°, l'hiver semble ignorer superbement les températures inférieures à - 5°.

Dans son développement le jardin a connu plusieurs grandes étapes. Des années 1950 à 1967 il occupe une surface d'environ 2.000 mètres carrés, circonscrite à une vingtaine de mètres du périmètre constitué par les vestiges du mur d'enceinte entourant le château. En 1968 la surface passe à 20.000 mètres carrés, s'agrandissant vers le Sud. En 1970 les deux potagers qui jouxtent le château sont transformés en « jardin à fleurs » réservés aux fleurs à couper, une serre est construite le long de sa façade Ouest.

En 1980, Guillaume Pellerin et son épouse Cléophée de Turckheim récupèrent 20.000 mètres carrés vers le Sud dans le champ connu sous le nom de « haute couture », ils viennent s'ajouter aux surfaces existantes pour former les quatre hectares du jardin. En 1992 la surface bitumée du tennis est transformée en pépinière pour élever en conteneurs les sujets des futures plantations. En 2004, devant l'affluence des visiteurs et l'impossibilité de gérer le stationnement, l'entrée du jardin est transférée au Sud. En 2006 ce sont 35.000 m2 qui s'ajoutent aux réserves foncières nécessaires aux projets de création d'un grand parking, de l'agrandissement des plantations, d'un bâtiment d'acceuil ainsi que d'un futur Musée National des Outils de Jardin.