Le Café Voltaire fut le lieu de rendez-vous des hommes de lettres, journalistes, philosophes, écrivains, poètes et romanciers. Comme bien d’autres cafés dans Paris, il ne dérogea pas à la règle et fut, en plus du café, un espace de jeu et de débats philosophiques. 

Alors qu'il habite rue de Tournon (donc avant son expérience d'imprimeur rue Visconti), Balzac passe presque chaque jour au Café Voltaire afin d’y retrouver de jeunes auteurs qui tentent, tout comme lui, de percer au théâtre, dans la presse ou en librairie. Dans sa nouvelle Les Martyrs ignorés, on le reconnaît sous le personnage de Raphaël, que l'on retrouve aussi dans La Peau de chagrin.  
Dans Les Martyrs ignorés, Balzac évoque le Café Voltaire et donne une idée des conversations qu'il pouvait avoir avec ses amis vers 1824 dans ce lieu. Raphaël, « figure violente de santé, cheveu noir, œil d'émerillon », joue aux dominos avec ses amis et échange des propos sur la médecine, la philosophie, les sciences, le droit, la religion, la politique. 

Dans sa biographie, André Maurois décrit l'ambiance :  « Les interlocuteurs sont un Irlandais, Théophile Osmond, fanatique de Ballanche ; l'Allemand Tschoërn, poète libéral et blond ; le docteur Physidor, Tourangeau de vingt-sept ans, jeune médecin occupé de phrénologie ; le docteur Phantasma, Dijonnais de soixante-treize ans, disciple de Mesmer ; et le mathématicien Grodnonsky, chimiste et inventeur. Les savants jouent aux dominos, à une table que les habitués du café ont surnommée la « table des philosophes ». » 
Dans sa soif de tout comprendre, Balzac s'intéresse alors à la physiognomonie de Lavater (l'art de connaître les personnes par leur physionomie), aux théories scientifiques de Buffon et Geoffroy Saint-Hilaire (à qui Balzac dédie Le Père Goriot), à l'illuminisme de Swedenborg (qui veut mettre l'être humain en communication avec le monde spirituel et lui faire découvrir les mystères les plus obscurs), au vitalisme de Bichat (qui défend l'existence d'un « principe vital » distinct à la fois de l'âme et du corps physique), etc.

Dans Balzac romancier, Maurice Bardèche écrit :  « Dans cette période obscure, trois aspects de Balzac nous apparaissent d'abord, soulignés par trois portraits qu'il a tracés de lui-même. Il est libre et pauvre dans sa chambre de la rue de Tournon : c'est la mansarde de Raphaël dans La Peau de chagrin. Il entre dans la vie littéraire, connaît les salles de rédaction, les combinaisons échafaudées pour préparer ou soutenir les réputations : c'est l'initiation de Rubempré dans Illusions perdues. Enfin, il voit s'esquisser devant lui le système du matérialisme de la pensée, il entend évoquer des cas bizarres qui rejoignent et renforcent ses premières lectures : c'est l'initiation philosophique de Raphaël dans les Martyrs Ignorés. »

Le café Voltaire – comme le café Minerve, à l'angle de la rue Montpensier et de la rue de Richelieu, où il se rend aussi régulièrement – est pour le jeune Honoré un lieu de rencontre, de découvertes et d'« initiation philosophique »  qui vont nourrir sa réflexion et l'aider à penser la société.