Rousseau a connu un jardin plus vaste qui englobait les actuelles rue de Montpensier, de Beaujolais et de Valois. Celles-ci ont été construites, ainsi que les galeries des mêmes noms, entre 1781 et 1784. Le jardin date quant à lui du XVIIe siècle, époque où Richelieu le fit construire en même temps que le palais, appelé dans un premier temps «Palais-Cardinal» (les travaux durèrent de 1625 à 1639). A sa mort, Richelieu légua son palais au Roi Louis XIV, c’est ainsi qu’il devint le Palais-Royal. 

Rousseau a cité le Palais-Royal plusieurs fois dans ses Confessions. La première fois, il y avait rendez-vous avec M. de Francueil (musicien, fils de M. Dupin) qui lui offrit une place à l’Opéra  (alors situé à l’emplacement du début de la rue de Valois). Rousseau va alors, d’un geste non réfléchi et devant la foule trop nombreuse à son goût, renoncé au spectacle… mais également se faire rembourser son billet ! Seul larcin de sa vie qu’il confessa :

«J’ai donc été fripon, et quelquefois je le suis encore de bagatelles qui me tentent, et que j’aime mieux prendre que demander: mais, petit ou grand, je ne me souviens pas d’avoir pris de ma vie un liard à personne; hors une seule fois, il n’y a pas quinze ans, que je volai sept livres dix sous. L’aventure vaut la peine d’être contée, car il s’y trouve un concours impayable d’effronterie et de bêtise, que j’aurais peine moi-même à croire s’il regardait un autre que moi.

C’était à Paris. Je me promenais avec M. de Francueil au Palais-Royal, sur les cinq heures. Il tire sa montre, la regarde, et me dit: Allons à l’Opéra. Je le veux bien; nous allons. Il prend deux billets d’amphithéâtre, m’en donne un, et passe le premier avec l’autre: je le suis, il entre. En entrant après lui, je trouve la porte embarrassée. Je regarde, je vois tout le monde debout; je juge que je pourrais bien me perdre dans cette foule, ou du moins laisser supposer à M. de Francueil que j’y suis perdu. Je sors, je reprends ma contremarque, puis mon argent, et je m’en vais, sans songer qu’à peine avais-je atteint la porte que tout le monde était assis, et qu’alors M. de Francueil voyait clairement que je n’y étais plus.»

Une autre fois, il nous précise que le Palais-Royal fut, pendant un moment, le lieu de rendez-vous hebdomadaire avec Diderot et Condillac.

Enfin il raconte, au livre 11, que le libraire du Palais-Royal attendait avec impatience la parution de Julie ou la Nouvelle-Héloïse: «Tout Paris était dans l’impatience de voir ce roman ; les libraires de la rue Saint-Jacques et celui du Palais-Royal étaient assiégés de gens qui en demandaient des nouvelles. Il parut enfin, et son succès, contre l’ordinaire, répondit à l’empressement avec lequel il avait été attendu. […] Les sentiments furent partagés chez les gens de lettres, mais dans le monde il n’y eut qu’un avis ; et les femmes surtout s’enivrèrent et du livre et de l’auteur, au point qu’il y en avait peu, même dans les hauts rangs, dont je n’eusse fait la conquête, si je l’avais entrepris. [… ] son moindre succès fut en Suisse, et son plus grand à Paris. L’amitié, l’amour, la vertu, règnent-ils donc à Paris plus qu’ailleurs ? Non, sans doute ; mais il y règne encore ce sens exquis qui transporte le cœur à leur image, et qui nous fait chérir dans les autres les sentiments purs, tendres, honnêtes, que nous n’avons plus. La corruption désormais est partout la même : il n’existe plus ni mœurs ni vertus en Europe ; mais s’il existe encore quelque amour pour elles, c’est à Paris qu’on doit le chercher.»