
Cinq siècles après sa construction, on fit passer devant le château le canal de Marans.
Avant d’être un château, Passy était une seigneurie ancienne, constituée de salines et de vignes. C’était dès 1267 la propriété de Gilbert Vender qui fut maire de La Rochelle et grand chambellan d’Aquitaine à l’époque d’Alienor d’Aquitaine et de La Rochelle aux mains des Plantagenêts.
Les Chaudrier, descendants du célèbre maire de La Rochelle annobli par Charles V pour avoir chassé les Anglais de la ville étaient seigneurs de Passy de 1424 à 1524.
Leur succèdèrent les Cherbeys au XVIème siècle puis les Brunet au début du XVIIème siècle et les descendants de Gabriel Béraudin seigneur de Grandzay et lieutenant général de la Sénéchaussée de La Rochelle, jusqu’en 1771.
L’ingénieur du roi et architecte Jean Grissot racheta alors la seigneurie de Passy dont les bâtiments étaient en ruine.
Au XIXème siècle, Françoise-Armande des Roches de Chassais en fut propriétaire à partir de 1834.