La maison Levanneur, bâtisse historique, a été transformée d’une simple maison de pêcheur, jadis propriété de Pierre-Étienne Levanneur, à ce qu'elle est aujourd'hui par Henri-Léonard-Jean-Baptiste Bertin, contrôleur général des finances de Louis XV, qui a son Château non loin sur les berges de la Seine côté Chatou. En 1775, il l’achète et commande son agrandissement.

Avant même le restaurant Fournaise, la maison Levanneur devient donc restaurant en 1830 et le restera jusqu’au début du XXe siècle, sans jamais atteindre ou chercher la même célébrité que son voisin, probablement parce qu’elle n’avait pas la belle vue sur la Seine et donc l’accès direct à l’eau. Cependant, le restaurant Levanneur fut investi par des artistes qui changèrent profondément le cours de l’histoire de l’art au début du XXe siècle. À l’époque, il est fréquenté par une nouvelle génération d’artistes comme Henri Matisse qui vient tenir compagnie à André Derain, Maurice De Vlaminck et Guillaume Apollinaire. Si les trois premiers lancent le mouvement du Fauvisme en 1905, le poète proche de Picasso et Braque adhère plutôt au cubisme, mais ils partagent la même passion pour l’art africain qui inspira leurs œuvres respectives.

Si la maison Levanneur est inscrite dans les guides d’aujourd’hui, c’est aussi grâce aux peintres Maurice De Vlaminck et André Derain. En 1900, les deux artistes, l’un originaire du Vésinet, l’autre de Chatou, se rencontrent dans le train faisant la liaison entre Paris Saint-Lazare et le Vésinet, lors d’une permission de Vlaminck (1876-1958), qui débute son service militaire. Selon la légende il y aurait eu un déraillement du train et suite à cette expérience les deux artistes auraient fait chemin commun. Rapidement, ils deviennent inséparables et décident de partager un atelier dans le restaurant Levanneur. Vlaminck, un grand homme fort, d’imposante apparence et déjà jeune père de famille, gagne trop peu d’argent pour nourrir sa femme et ses jeunes enfants ; ainsi, il multiplie les tâches. Ayant appris le violon par son père, il joue dans les restaurant des bords de Seine qui ne manquent point dans la région ; ou bien, il participe à des compétitions de cyclistes. Mais, encore plus original, une partie de ses revenues lui vient de ses écrits. Il rédige des romans érotiques avec un ami, qui lui rapportent probablement le plus d’argent.

Contrairement à Vlaminck, André Derain (1880-1954) né à Chatou, restera profondément lié à cette ville. Ses parents tiennent une crémerie, tout près de l’ancien pont, réputée pour avoir la meilleure glace de la région. La maison que Derain habite dès son retour du service militaire, en 1904, est une très belle villa, un mélange de style néo-gothique et d’art nouveau, située juste à côté de la mairie, au numéro 7 de la place de l’Hôtel de Ville. 

Le père du jeune André vise grand et décide de le placer à l’école polytechnique, mais Derain n’a déjà des yeux que pour la peinture et c’est ainsi qu’on le voit flâner au Louvre, où il rencontre un ancien ami du lycée dont le père, Alfred Jacomin, est peintre et habitant de Chatou. De fil en aiguille, le jeune Derain débute son premier enseignement artistique. Ses parents ne s’opposent pas à son désir et c’est ainsi qu’on le voit passer des journées entières à esquisser et à peindre en plein air, souvent en compagnie de Vlaminck. S’il n’a pas assez d’argent pour se payer son billet de train, il fait le chemin à pied de Paris jusqu’à Chatou et inversement. Certains jours, cette balade donne occasion à de longues conversations, lorsqu’il marche avec Guillaume Apollinaire qui se rend au Vésinet.

La location de l’atelier du Pont de Chatou sera de courte durée, car Derain doit partir à son tour pour le service militaire, Vlaminck ne pouvant assumer les frais tout seul. Pourtant malgré toutes les difficultés qu’ils traversent, ou peut-être justement à cause d’elles, les deux artistes gardent un lien intense.

À leur arrivée en 1900, le restaurant était très dégradé, et la légende veut que Derain et Vlaminck se soient servis des vieilles chaises en bois pour chauffer l’atelier.

Pendant leur absence respective Vlaminck et Derain commencent une longue correspondance artistique d’une profonde sincérité, qui mènera à une collaboration véritable dès 1904. Désormais, ils peignent en plein air, inspirés par les impressionnistes, qui les ont précédés sur ces lieux. Mais plus audacieux encore, leurs couleurs sont appliquées pures, telles qu’elles sortent du tube, elles sont violentes et acides et semblent agresser l’œil du spectateur. Leurs gestes spontanés et sauvages vont rapidement esquisser le paysage au lieu de le décrire, comme si la perception passait moins par la vue, que par le ressenti. C’est la leçon qu’ils retiennent des œuvres de Van Gogh, alors que les peintures de Gauguin les mènent à appliquer la peinture en grosses couches plates, adaptant un style presque primitif.

Cette amitié nouée sur les bords de Seine fera naître le mouvement fauve.

Henri Matisse, le premier artiste à adopter cette nouvelle technique de la peinture pure, aura une grande influence sur eux. Il les accompagne souvent lors de leurs promenades sur les bords de Seine et aux restaurants Fournaise ou Levanneur. Quelques fois, le poète Guillaume Apollinaire se joint à eux. Grâce à ces liens amicaux, le marchand d’art Ambroise Vollard qui avait déjà acheté l’intégralité de l’atelier de Derain en 1905, décide d’acquérir la quasi-totalité de la production de Vlaminck pour sa galerie, pas moins de quarante-huit tableaux d’un coup ! Pour Vlaminck, c’est une chance inouïe, lui qui vivait dans la plus grande pauvreté avec sa femme et ses enfants et qui avait tout sacrifié à la peinture. Ambroise Vollard est alors un marchand visionnaire, car en 1905, au Salon d’Automne, le groupe des artistes est décrié dans un article incendiaire, publié le 17 octobre dans Gil Bas, par le critique Louis Vauxelles. Un beau buste en marbre sculpté par Albert Marquet est placé au milieu des peintures de Matisse, Derain, Vlaminck et Van Dongen, le critique d’art s’écrie alors : « Mais c’est Donatello parmi les fauves ! »

La maison Levanneur est depuis 2018 occupée par la Galerie Bessière, la première Galerie d’Art contemporain au pays des impressionnistes, alors qu’elle fut durant des années le Centre National d’Art Contemporain consacré à l’édition et aux arts imprimés, en hommage à Derain.