Sa construction s’inscrit dans la réalisation du Grand dessein qui prévoit la construction d’une succession de bâtiments et de cours permettant la liaison entre les palais du Louvre et des Tuileries. Un long couloir de 460 mètres doit longer la Seine et donner au souverain la possibilité de passer «à pieds secs» de son appartement au Louvre à celui qu’il occupe aux Tuileries. La construction, projetée dès le règne d’Henri III, ne débute, pour cause de guerres de Religions, qu’en 1595, après l’entrée d’Henri IV à Paris.

Pour éviter une trop grande monotonie, la réalisation de l’immense vaisseau que forme la galerie se voit confiée à deux architectes différents. Louis Métezeau (1560-1615) est le maître d’œuvre de la moitié orientale alors que Jacques II Androuet du Cerceau est l’inventeur de la moitié occidentale. Pour séparer les deux parties, un étroit pavillon sert de guichet et permet le passage entre les berges de la Seine, au sud de la galerie, et le quartier situé au nord.

Les façades construites par les deux architectes sont très différentes l’une de l’autre. Louis Métezeau agence sa partie sur trois niveaux clairement délimités l’un par rapport à l’autre par un long bandeau horizontal; il couronne chaque travée de frontons en alternance triangulaires et en demi-lune. La construction s’orne en plus d’un riche décor sculpté: des bossages animent le soubassement scandé de doubles pilastres et surmonté d’une frise peuplée d’une guirlande animée de petits amours qui s’amusent dans l’eau. Au niveau de la galerie, des niches ornées de statues alternent avec les ouvertures encadrées de pilastres. Le chiffre du roi, le H, est partout présent, complété du G de Gabrielle d’Estrées qu’il souhaitait alors épouser. La moitié de façade conçue par Androuet du Cerceau présente deux niveaux seulement, elle est scandée par un monumental ordre colossal composé de doubles pilastres corinthiens accolés qui séparent chaque travée; l’ensemble est couronné par une longue ligne de frontons en demi-lune.

Le long couloir de circulation occupe le niveau supérieur de la galerie, les étages inférieurs abritent des ateliers destinés entre autres choses à une manufacture de tapisserie créée par le roi et qui deviendra par la suite celle des Gobelins. On y installe aussi 27 logements destinés pour 19 d’entre eux à des artistes, des boutiques, les écuries du roi; Louis XIII y placera la monnaie en 1639 puis l’imprimerie royale en 1640!

Dans les siècles suivants, la galerie se détériore. La proximité de la Seine entraîne des affaissements qui touchent aussi le Pavillon de Flore plus à l’ouest. Au milieu du XIXe siècle, il faut étayer l’ensemble pour éviter qu’il ne s’effondre. Napoléon III décide en 1861 de démolir toute la moitié ouest de l’immense édifice qu’il fait immédiatement reconstruire avec d’importantes modifications. Le pavillon central devient un guichet beaucoup plus imposant qui possède à présent trois passages pour les véhicules et deux pour les piétons. Quant à la partie occidentale de la galerie, plutôt que de la reconstruire à l’identique, telle que Androuet du Cerceau l’avait imaginée, on préfère lui donner une façade à trois niveaux reproduisant celle imaginée par Métezeau pour la moitié orientale. La diversité voulue par Henri IV disparaît définitivement!