Ils conservèrent tant bien que mal leur liberté de culte jusqu’à la Révocation par Louis XIV (17 octobre 1685).
À l’emplacement du jardin actuel s’élevait le temple construit en 1855 par Driollet. Il a été détruit par un bombardement le 23 septembre 1943.