Le baron d’Holbach, de onze ans le cadet de Rousseau, est certainement la figure la plus athée des Lumières. Il est un fervent adepte d’une philosophie matérialiste. Dans Le Christianisme dévoilé, un ouvrage publié en 1761 sous un nom d’emprunt, il fustige les chrétiens qui, pour lui, ne croient que par habitude et ignorance. Il rédigea pour l’Encyclopédie de nombreux articles sur la chimie, la pharmacie et la médecine. Rousseau utilisera dans ses Confessions le terme de «coterie holbachique» pour exprimer son opposition envers ce courant de pensée qui nie l’existence de Dieu.

Le baron d’Holbach acquit un hôtel particulier en 1757 rue des Moulins (autrefois rue Royale Saint-Roch), et y logea dès la naissance de sa seconde fille, en décembre 1759, (il déménage alors de son logis de la rue Saint-Honoré où il s’était installé au début de l’année). Il resta rue des Moulins jusqu’à sa mort, en janvier 1789. Rousseau l’ayant connu avant qu’il n’habite à cette adresse, ne s’est donc jamais rendu ici. 

Sa première visite chez le baron s’est déroulée rue Neuve-Saint-Augustin (actuelle rue Saint-Augustin) où le baron logea jusqu’au printemps 1753. C’est là sans doute qu’il mena Grimm, comme il le dit dans ses Confessions: «J’avais un assez grand nombre de connaissances, mais deux seuls amis de choix, Diderot et Grimm. Par un effet du désir que j’ai de rassembler tout ce qui m’est cher, j’étais trop l’ami de tous les deux pour qu’ils ne le fussent pas bientôt l’un de l’autre. Je les liai ; ils se convinrent, et s’unirent encore plus étroitement entre eux qu’avec moi. Diderot avait des connaissances sans nombre, mais Grimm étranger et nouveau venu avait besoin d’en faire. Je ne demandais pas mieux que de lui en procurer. […] je le menai chez Madame de Chenonceaux, chez Madame d’Epinay, chez le baron d’Holbach, avec lequel je me trouvai lié presque malgré moi. »

Rousseau ne va pas tarder à se mettre à dos les Encyclopédistes, à la suite de ses écrits et par son farouche souci d’indépendance – aussi bien intellectuel que financier. Le milieu mondain de Paris dans lequel baignent les Encyclopédistes lui paraît surfait. Ses idées sont trop peu en accord avec celles défendues dans l’Encyclopédie. Pour expliquer sa rupture avec ses anciens amis, Rousseau prétexta qu’ils furent jaloux du succès de son Devin du village (Diderot en avait pourtant fait un compte-rendu très élogieux). Cette jalousie présumée se manifesta, d’après Rousseau, chez d’Holbach (qui logeait alors rue Saint-Thomas-du-Louvre) le 3 février 1754: « Depuis son succès, je ne remarquai plus ni dans Grimm, ni dans Diderot, ni dans presque aucun des gens de lettres de ma connaissance, cette cordialité, cette franchise, ce plaisir de me voir, que j'avais cru trouver en eux jusqu'alors. Dès que je paraissais chez le Baron, la conversation cessait d'être générale. On se rassemblait par petits pelotons, on se chuchotait à l'oreille, et je restais seul sans savoir avec qui parler. J'endurai longtemps ce choquant abandon et voyant que Mme d'Holbach, qui était douce et aimable, me recevait toujours bien, je supportai les grossièretés de son mari tant qu'elles furent supportables. Mais un jour il m'entreprit sans sujet, sans prétexte, et avec une telle brutalité devant Diderot, qui ne dit pas un mot, et devant Margency, qui m'a dit souvent depuis lors avoir admiré la douceur et la modération de mes réponses, qu'enfin chassé de chez lui par ce traitement indigne, j'en sortis résolu de n'y plus rentrer. » (Les Confessions)

Cette version des faits est toutefois contredite par le baron d’Holbach. Ce soir-là les invités étaient réunis pour écouter un abbé de province qui leur lut une tragédie écrite de sa main. Les auditeurs, faisant mine de s’extasier, riaient sous cape et se moquaient du piètre auteur. Rousseau fut outré de cette scène, comme le raconte d’Holbach : « Jean-Jacques n’avait pas dit le mot, n’avait pas souri un instant, n’avait pas remué de son fauteuil. Tout à coup, il se lève comme un furieux, et, s’élançant vers le curé, il prend son manuscrit, le jette à terre et dit à l’auteur effrayé : Votre pièce ne vaut rien, votre discours est une extravagance, tous ces messieurs se moquent de vous. Sortez d’ici et retournez vicarier dans votre village. Le curé se lève alors non moins furieux, vomit toutes les injures possibles contre son trop sincère avertisseur, et des injures il aurait passé aux coups et au meurtre tragique si nous  ne les avions séparés. Rousseau sortit dans une rage que je crus momentanée, mais qui n’a pas fini, et qui même n’a fait que croître depuis. » (propos recueillis par J. A. J. Cerutti et publiés en 1789 dans le Journal de Paris).

Contrairement à la résolution qu’il rapporte dans ses Confessions, Rousseau revient chez d’Holbach en octobre 1754. Le baron, touché par la peine manifestée par Rousseau à la suite de la mort de sa première femme en août 1754, l’avait à nouveau invité.
Lorsque Rousseau quitte Paris pour Montmorency en 1756, le baron habite rue Saint-Nicaise où il logea à partir sans doute de la fin 1754 jusqu’en décembre 1758. On connaît deux visites de Rousseau chez le baron, rue Saint-Nicaise : celle du 18 mars 1756 (visite mentionnée dans sa correspondance) et celle de juillet 1757, alors qu’il loge quelques jours chez Diderot : « nous allâmes  souper chez le Baron qui me reçut à son ordinaire. Mais sa femme me reçut froidement, et presque malhonnêtement. Je ne reconnus plus cette aimable Caroline qui marquait avoir pour moi tant de bienveillance étant fille » (Les Confessions). La seconde épouse du baron (Caroline) était la sœur de la première. Après l’été 1757, Rousseau n’a sans doute plus jamais revu le baron. 

A cette date, Rousseau est de plus en plus dénigré dans les salons parisiens. Fin février 1758, il écrit dans une lettre dont on ne connaît pas le destinataire: «J’apprends des merveilles de ce qui se dit de moi chez M. d’Holback [sic], on m’en a tant rapporté que j’ai peine à le croire. N’est-il pas plaisant que ces gens qui sont si bons se donnent tant de tourment pour nuire à un pauvre solitaire infirme, fort méchant sans doute, mais qui ne fit jamais le moindre mal à personne. Je trouve tous ces doux philosophes presque aussi bienfaisants que le bourreau de Don Carlos [le fils de Philippe II d’Espagne, mort en 1570]. Paix, Monseigneur, lui disait-il en l’étranglant, tout ce qu’on en fait n’est que pour votre bien. Quoi, ces gens si bons, si honnêtes. La bonté consiste donc à faire du mal aux gens dont on n’en a point reçu, à ses anciens amis dont on n’a point été offensé ? Certes, je ne m’étonne plus d’être si méchant et commence à m’en consoler.»

Conclusion

Rousseau fuit Paris et la «coterie holbachique» en avril 1756. C’est à Montmorency, loin du bruit et de la calomnie, entouré de verdure et de calme, qu’il écrira quelques unes de ses œuvres majeures : Julie ou la Nouvelle Héloïse, la Lettre à d’Alembert sur les spectacles, Du Contrat social et Émile ou de l’Éducation. Pourtant il n’en a pas tout à fait fini avec la capitale. Mais les derniers séjours parisiens seront comptés pour rien par Rousseau : « ce fut le 9 avril 1756 que je quittai la Ville pour n’y plus habiter; car je ne compte pas pour habitation quelques courts séjours que j’ai faits depuis tant à Paris qu’à Londres et dans d’autres villes mais toujours de passage ou toujours malgré moi » (Les Confessions). Quelques lignes avant, il avait écrit : « L’impatience d’habiter l’hermitage ne me permit pas d’attendre le retour de la belle saison, et sitôt que mon logement fut prêt, je me hâtai de m’y rendre, aux grandes huées de la coterie holbachique, qui prédisait hautement que je ne supporterais pas trois mois de solitude, et qu’on me verrait dans peu revenir avec ma courte honte vivre comme eux à Paris ». 

Oui, c’est donc avec empressement qu’il quitte Paris pour l’Ermitage : « Après avoir passé vingt ans à Paris, je dois à présent connaître cette ville ; cependant, si l’on me faisait aujourd’hui pareille question, je ne serais pas moins embarrassé d’y répondre, et de cet embarras on pourrait aussi bien conclure que je n’ai jamais été à Paris. […] Depuis que je m'étais, malgré moi, jeté dans le monde, je n'avais cessé de regretter mes chères Charmettes, et la douce vie que j'y avais menée. Je me sentais fait pour la retraite et la campagne; il m'était impossible de vivre heureux ailleurs: […] à Paris, dans le tourbillon de la grande société, dans la sensualité des soupers, dans l'éclat des spectacles, dans la fumée de la gloriole, toujours mes bosquets, mes ruisseaux, mes promenades solitaires, venaient, par leur souvenir, me distraire, me contrister, m'arracher des soupirs et des désirs. » (Les Confessions)

S’il a pu supporter toutes ces années à Paris, c’est en se promenant régulièrement dans la campagne de l’Ile de France, dans les jardins de Paris. Ses derniers instants, Rousseau les passera à Ermenonville, loin de Paris, à l’instar de son Émile : « Adieu donc, Paris, ville célèbre, ville de bruit, de fumée et de boue, où les femmes ne croient plus à l’honneur ni les hommes à la vertu. Adieu, Paris : nous cherchons l’amour, le bonheur, l’innocence ; nous ne serons jamais assez loin de toi.» (fin du livre IV d’Émile)

Rousseau apôtre de la nature, a donc fui la ville, lieu de perdition par excellence:
O Ville où règne l’arrogance!
Où les plus grands fripons de France
Régentent les honnêtes gens
Où les vertueux indigents
Sont des objets de raillerie,
Ville où la Charlatanerie,
Le ton haut, les airs insolents
Ecrasent les simples talents
Et tyrannisent la fortune,
[…]
Accordez donc, mon cher Vicaire
Votre demeure hospitalière
A Gens dont le soin le plus doux
Est d’aller passer près de vous
Les moments dont ils sont les maitres
[…]
Point de ces gens que Dieu confonde
De ces sots dont Paris abonde
Et qu’on y nomme beaux esprits
Vendeurs de fumée à tout prix
Au riche faquin qui les gâte;
[…]
Point surtout de cette racaille
Que l’on appelle grands seigneurs,
Fripons sans probité, sans mœurs
Se raillant du pauvre vulgaire
Dont la vertu fait la chimère;
(Épitre à M. de l’Etang, vicaire de Marcoussis - écrit en 1749 en souvenir d’escapades à Marcoussis)