Comme le montre sa correspondance, Rousseau est venu au moins une fois en ce lieu, à l’occasion d’un bal donné par le fermier général et philosophe Helvétius, en février 1755. D’après la Japonaise Yamasaki qui a écrit une thèse sur Rousseau et Paris, Helvétius aurait habité à cette adresse durant les trente dernières années de sa vie.

Le « Citoyen de Genève » réfuta la thèse matérialiste et sensible que développe Helvétius dans son ouvrage le plus connu, De l’Esprit, qui fut condamné en 1759 pour outrage à la religion et aux mœurs (sans que son auteur soit poursuivi). A Helvétius qui dit que «sentir c’est juger», Rousseau rétorque dans Émile: «Je ne suis donc pas simplement un être sensitif et passif, mais un être actif et intelligent[…] Je sais seulement que la vérité est dans les choses et non pas dans mon esprit qui les juge.» Rousseau croit en Dieu dont la volonté «meut l’univers et anime la nature.»

Dans le roman Amabile (1763) du prince de Ligne, Rousseau (Seausour dans l'ouvrage) est présenté en homme bougon, dédaigneux des richesses de ce monde et qui s’en prend à Helvétius : « N’avez-vous pas lu « L’Esprit »? Je ne l’ai point lu, dit Seausour. Je ne lis jamais. Mais son nom m’est connu. Votre histoire, Monsieur, dit-il en s’adressant à lui [Helvétius] n’est pas claire. Si vous vous êtes défait de votre charge et de vos 20 000 livres de rente, pour vivre tranquillement, pour ne point faire d’injustice ni de malheureux, je vous en sais gré. Mais on dit que c’est pour vous appliquer aux lettres; si cela est j’en suis fâché pour vous. »

Rousseau a donc du mal à adhérer aux propos d’un homme gagnant 20 000 livres de rente. Trop riche pour être véritablement sincère... 

Helvétius est devenu philosophe, juste pour se faire un nom. Rousseau révèle là les rapports difficiles qu’il a entretenus avec l’argent. Issu du peuple, il aura beaucoup de mal à accepter de rester dans l’ombre des nantis de ce monde. Il aura donc parfois des propos très acides vis-à-vis du riche comme on l'a vu précédemment.