C’est dans la rue Charlot que Balzac installera le docteur Poulain, l’un des personnages de son ouvrage Le Cousin Pons.
Le Cousin Pons parait en 1847, tout d’abord sous la forme d’un roman feuilleton publiée dans le journal Le Constitutionnel, puis sous la forme d’un ouvrage. Le docteur Poulain est un médecin de quartier qui ne fait donc pas partie de la classe des médecins fortunés qui se sont enrichis en soignant avec succès des membres de la haute bourgeoisie. Il vit donc modestement dans ce qui est aujourd’hui l’actuelle rue Charlot, comprise entre la rue de Poitou et celle des Quatre-Fils, autrefois rue d’Orléans-au-Marais. 

Balzac a toujours su planter précisément les décors dans lesquels il fait évoluer ses personnages, puisque les uns et les autres sont selon lui étroitement liés. Il évoque souvent le passé proche ou lointain d'un appartement, d'une rue ou d'un quartier, afin de montrer la continuité des choses, ou, au contraire, les ruptures profondes qui marquent les années 1810-1840. L'appartement du docteur Poulain et la rue où habite Pons sont des endroits tranquilles que le temps affecte peu. Malgré cela, des intérêts et des passions silencieuses  s'y affrontent.
Balzac propose une description minutieuse de l'appartement du docteur Poulain, invitant le lecteur à passer d'une pièce à une autre et à découvrir des détails qui révèlent la personnalité de l'occupant du lieu : « Le docteur Poulain demeurait rue d'Orléans. Il occupait un petit rez-de-chaussée composé d'une antichambre, d'un salon et de deux chambres à coucher. Un office contigu à l'antichambre, et qui communiquait à l'une des deux chambres, celle du docteur, avait été converti en cabinet. Une cuisine, une chambre de domestique et une petite cave dépendaient de cette location située dans une aile de la maison, immense bâtisse construite sous l'Empire, à la place d'un vieil hôtel dont le jardin subsistait encore. Ce jardin était partagé entre les trois appartements du rez-de-chaussée.
L'appartement du docteur n'avait pas été changé depuis quarante ans. Les peintures, les papiers, la décoration, tout y sentait l'Empire. Une crasse quadragénaire, la fumée, y avaient flétri les glaces, les bordures, les dessins du papier, les plafonds et les peintures.  » (Le Cousin Pons)

A travers cette description, Balzac nous transporte dans l’univers modeste qui est celui du docteur Poulain. Il est aisé de se représenter l’appartement vieux et exigu au rez-de-chaussée de cette rue. Là encore, c’est le réalisme balzacien qui prime. Par ailleurs, le docteur Poulain, qui ne semble pas gagner suffisamment d’argent pour pouvoir s’offrir un meilleur logement, s’alliera avec la logeuse de Sylvain Pons », personnage principal du Cousin Pons, et d’autres, afin de déposséder ce vieil homme de tous les biens qu’il possède. Balzac évoquera, à travers leurs actions, le comportement vil et méprisable qui animent certains hommes dans la société de sa période. 

Pons, humble, digne et très gourmand, est un professeur de musique égaré dans une époque (les années 1840) qui n'est pas la sienne. Il met toute sa passion dans une collection d'objets précieux, dont il découvrira la valeur trop tard et dont il sera dépossédé par d'autres. L'Allemand Schmucke, également musicien, est son fidèle ami et co-locataire. « Schmucke et Pons, en mariant leurs richesses et leurs misères, avaient eu l'idée économique de loger ensemble, et ils supportaient également le loyer d'un appartement fort inégalement partagé, situé dans une tranquille maison de la rue de Normandie, dans le Marais. Comme ils sortaient souvent ensemble, qu'ils faisaient souvent les mêmes boulevards côte à côte, les flâneurs du quartier les avaient surnommés « les deux casse-noisette ».  [...]
La rue de Normandie est l'une de ces rues au milieu desquelles on peut se croire en province : l'herbe y fleurit, un passant y fait événement, et tout le monde s'y connaît. Les maisons datent de l'époque où, sous Henri IV, on entreprit un quartier dont chaque rue portât le nom d'une province, et au centre duquel devait se trouver une belle place dédiée à la France.  [...] La maison où demeuraient les deux musiciens est un ancien hôtel entre cour et jardin ; mais le devant, sur la rue, avait été bâti lors de la vogue excessive dont a joui le Marais durant le dernier siècle. Les deux amis occupaient tout le deuxième étage dans l'ancien hôtel.  » (Le Cousin Pons)

Henri IV (à qui l'on doit la place des Vosges) et Sully avaient en effet imaginé le projet d'une grande place de France, avec des rues rayonnant depuis la place et portant le nom de différentes provinces (dont les rues de Normandie, de Poitou, de Saintonge, de Bretagne, de Perche et de Picardie gardent aujourd'hui le souvenir, même si elles ne correspondent pas au projet interrompu par la mort d'Henri IV).