Dans un épisode des Misérables, Hugo évoque un salon ultra situé dans la rue Férou. Être ultra sous la Restauration c'est appartenir au parti ultra-royaliste, partisan de l'absolutisme royal qui veut résolument tourner le dos à la Révolution. L'action se passe en 1817 et le grand-père de Marius, M. Gillenormand qui habite la rue Servandoni (une rue parallèle), fréquente ce salon. Pour écrire cet épisode, Hugo a certainement puisé dans ses souvenirs d'adolescence, car à 15 ans il côtoyait les salons ultras du quartier et sortait le lys à la boutonnière. Ses premiers succès littéraires, il les a obtenus dans les salons ultra-royalistes de cette époque qu'il décrit avec sévérité et humour dans les Misérables lorsqu'il évoque le passé du grand-père de Marius :

Lorsque M. Gillenormand habitait la rue Servandoni, il hantait plusieurs salons très bons et très nobles. Quoique bourgeois, M. Gillenormand était reçu. Comme il avait deux fois de l'esprit, d'abord l'esprit qu'il avait, ensuite l'esprit qu'on lui prêtait, on le recherchait même, et on le fêtait. Il n'allait nulle part qu'à la condition d'y dominer. Il est des gens qui veulent à tout prix l'influence et qu'on s'occupe d'eux; là où ils ne peuvent être oracles, ils se font loustics. M. Gillenormand n'était pas de cette nature; sa domination dans les salons royalistes qu'il fréquentait ne coûtait rien à son respect de lui-même. Il était oracle partout. Il lui arrivait de tenir tête à M. de Bonald, et même à M. Bengy-Puy-Vallée.
Vers 1817, il passait invariablement deux après-midi par semaine dans une maison de son voisinage, rue Férou, chez madame la baronne de T., digne et respectable personne dont le mari avait été, sous Louis XVI, ambassadeur de France à Berlin. […]
Chez madame de T., le monde étant supérieur, le goût était exquis et hautain, sous une grande fleur de politesse. Les habitudes y comportaient toutes sortes de raffinements involontaires qui étaient l'ancien régime même, enterré, mais vivant. Quelques-unes de ces habitudes, dans le langage surtout, semblaient bizarres. Des connaisseurs superficiels eussent pris pour province ce qui n'était que vétusté. On appelait une femme "madame la générale". "Madame la colonelle" n'était pas absolument inusité. La charmante Mme  de Léon, en souvenir sans doute des duchesses de Longueville et de Chevreuse, préférait cette appellation à son titre de princesse. La marquise de Créquy, elle aussi, s'était appelée "madame la colonelle".
Ce fut ce petit haut monde qui inventa aux Tuileries le raffinement de dire toujours en parlant au roi dans l'intimité "le roi" à la troisième personne et jamais "votre majesté", la qualification "votre majesté" ayant été « souillée par l'usurpateur ».
On jugeait là les faits et les hommes. On raillait le siècle, ce qui dispensait de le comprendre. On s'entraidait dans l'étonnement. On se communiquait la quantité de clarté qu'on avait. Mathusalem renseignait Épiménide. Le sourd mettait l'aveugle au courant. […]
Tout cela avait l'air d'avoir vécu il y a longtemps, et de s'obstiner contre le sépulcre. Conserver, Conservation, Conservateur, c'était là à peu près tout le dictionnaire. "Être en bonne odeur", était la question. Il y avait en effet des aromates dans les opinions de ces groupes vénérables, et leurs idées sentaient le vétyver. C'était un monde momie. Les maîtres étaient embaumés, les valets étaient empaillés.
Une digne vieille marquise émigrée et ruinée, n'ayant plus qu'une bonne, continuait de dire : "Mes gens".
Que faisait-on dans le salon de madame de T. ? On était ultra […] Être ultra, c'est aller au-delà C'est attaquer le sceptre au nom du trône et la mitre au nom de l'autel ; c'est malmener la chose qu'on traîne ; c'est ruer dans l'attelage ; c'est chicaner le bûcher sur le degré de cuisson des hérétiques ; c'est reprocher à l'idole son peu d'idolâtrie ; c'est insulter par excès de respect ; c'est trouver dans le pape pas assez de papisme, dans le roi pas assez de royauté, et trop de lumière à la nuit ; c'est être mécontent de l'albâtre, de la neige, du cygne et du lys au nom de la blancheur ; c'est être partisan des choses au point d'en devenir l'ennemi ; c'est être si fort pour, qu'on est contre.
 

Dans cette description parfois très sévère, Hugo fait allusion au journal monarchiste Le Conservateur fondé par Chateaubriand en 1818 (et qui aura une courte durée de vie puisque le journal disparaîtra en 1820). Mais, chez Hugo, la sévérité du trait se mêle à l'humour et à l'autodérision, car cette critique s'adresse aussi au jeune homme qu'il était à l'époque. Avec ses deux frères il avait créé une revue littéraire intitulée Le Conservateur littéraire, en l'honneur de Chateaubriand. Cette revue eut trente numéros entre décembre 1819 et mars 1821. Victor Hugo en fut le principal rédacteur. Le Conservateur fut la tribune des opposants à la politique libérale de Decazes. Victor Hugo en 1818 a épousé les combats de Chateaubriand. Il fut donc ultra… comme le montre les poèmes de cette époque, telle cette Réponse à l'épître au Roi de M. Ourry composée en août 1818 et (même s'il ne revendique pas l'étiquette d'ultra comme tout bon partisan du futur Charles X) :

Un tel parti, crois-moi, ne saurait être à craindre,
Et si c'est un parti, quel Français doit s'en plaindre ?
Ah ! qu'il est différent de ces vils "libéraux",
Dont la muse maligne a flétri les hérauts !
Leur parti sert d'asile aux apôtres du crime ;
L'autre de ses rivaux obtient même l'estime ;
Lequel haïr enfin ou lequel approuver ?
L'un veut perdre la France et l'autre la sauver.
Peut-être tu me crois de ces vieux cacochymes,
Nobles, et grands prêcheurs des anciennes maximes ;
Ourry, détrompe-toi : j'ai seize ans, et mes jours
Dans une humble roture ont commencé leur cours ;
Je respecte la Charte et son frein salutaire,
Je lis "l'Esprit des Lois" et j'admire Voltaire ;
Suis-je "ultra" ? Je ne sais, mais je hais tout excès.
Quand je vois un Bourbon, mon cœur se sent français.

On notera la référence à Voltaire qui montre que même s'il vénère encore Chateaubriand, il ne le suit pas aveuglément. Il est pour la royauté, mais sans l'autel… Il subit là l'influence de sa mère dont il confiera à Sainte-Beuve : Le fond de sa philosophie était le voltairianisme. Sophie Trébuchet était une royaliste voltairienne qui inculqua à ses enfants une indéfectible indépendance d'esprit à l'écart de toute idéologie. Au cours de son exil, lorsqu'il aidera sa femme dans l'écriture de Victor Hugo raconté par Adèle Hugo, il compensera l'influence de sa mère en introduisant une réflexion de son père : Laissons faire le temps. L'enfant est de l'opinion de la mère, l'homme sera de l'opinion du père. Et de fait, Victor Hugo va, les années passant, se rapprocher des idées plus républicaines du général Hugo.