Pour empêcher un café et des montagnes russes à côté des malades, les Chateaubriand achètent la propriété attenante : sans doute le pavillon qu’ils habiteront en 1826.
Besserve date d’octobre 1824 l’achat d’une maison et d’un terrain attenants à l’Infirmerie, pour 190 000 francs (180 000 selon Marouzeau), parce qu’on voulait y établir un café et des montagnes russes. C’est le motif que Chateaubriand donne pour l’achat de son pavillon :
« […] une compagnie d’entrepreneurs se proposait d’établir un café et des montagnes russes dans le susdit pavillon, bruit qui ne va guère avec l’agonie. »
Chateaubriand, Mémoires d’outre-tombe, livre XXXVI, chapitre 1. · Lire le passage
« Le pavillon que j’habite près de la barrière pouvait monter à une soixantaine de mille francs ; mais, à l’époque de la hausse des terrains, je l’achetai beaucoup plus cher, et je ne l’ai pu jamais payer […] »
Chateaubriand, Mémoires d’outre-tombe, livre XXXVI, chapitre 1. · Lire le passage
Un premier achat, en août 1823, avait réuni à l’Infirmerie une petite maison et son jardin (14 000 francs), par la concession de la ruelle de Lacaille, contre une rente de quarante francs à la Ville.