Le préfet de police Pasquier le convoque pour lui signifier l’ordre de quitter Paris, suite lointaine de l’affaire du discours de réception à l’Académie (1811). Il se retire à Dieppe, où il écrit plusieurs chapitres des Mémoires.
Le séjour lui-même reste discuté. Les Mémoires le disent retiré à Dieppe, et datent de là plusieurs chapitres (« Dieppe, septembre 1812 », « Dieppe, fin d’octobre 1812 ») ; Herriot les suit. Mayer (1946), qui travaille d’après les lettres, ne parle pas de Dieppe : il le fait repartir le 4 septembre pour Verneuil et revenir à la Vallée-aux-Loups le 25. Les Mémoires eux-mêmes le montrent à Paris le 23 octobre, à l’hôtel Lavalette (livre XXII, chapitre 1).