Le début de la construction de la Petite Galerie, vers 1566, ne peut encore être fixé avec précision. Pendant longtemps, on l’a crue contemporaine du règne de Charles IX (1560-1574), une tradition (fausse!) prétendant que lors des massacres de la Saint-Barthélemy le Roi avait tiré à l’arquebuse sur des Protestants depuis l’une des fenêtres de la galerie. En fait, si le projet de construction est sans doute élaboré sous le règne du jeune roi, c’est vraisemblablement Henri IV qui en termine la construction. La tradition associe l’édification du bâtiment à Pierre Lescot et Pierre II Chambiges mais aucun document ne vient confirmer cette attribution.

La construction de la Petite Galerie s’inscrit dans le grand dessein élaboré dans la seconde moitié du XVIe siècle et visant à relier le Louvre aux Tuileries. La construction d’une aile de liaison entre la future Grande Galerie, parallèle au fleuve, et le Pavillon du Roi, à l’angle de la future Cour Carrée, nécessitait que l’on aménage un passage perpendiculaire: l’actuelle Petite Galerie. Elle était directement reliée au Louvre par un étroit passage enjambant un fossé aujourd’hui comblé.

La galerie d’origine n’était constituée que d’un simple rez-de-chaussée ouvert sur le jardin qui déjà s’étendait en avant du palais. Sa façade est aujourd’hui encore partiellement conservée, même si elle a été largement transformée. Elle montre une suite de sept arcades encadrées de pilastres rustiques travaillés en utilisant des pierres de trois couleurs différentes. L’ensemble laisse une impression de légèreté amplifiée par un riche décor sculpté terminé sous le règne d'Henri IV dans la lignée de ceux qui ornent les façades Renaissance de la Cour Carrée.

A partir de 1596, Henri IV ordonne la transformation de la galerie qui se voit adjoindre un étage dans lequel on installe la galerie des Rois. Cette dernière est une vaste salle décorée de 28 portraits de rois et de reines de France, complétés chacun de 16 portraits des hommes illustres de leur règne. Le nouvel étage permet une liaison directe entre l’appartement du Roi au Louvre et la Grande Galerie dont la construction commence en 1595. Détruite par un incendie le 6 février 1661, la galerie est reconstruite à la demande de Louis XIV: il s'agit de l’actuelle galerie d’Apollon qui occupe donc le premier étage.

Au rez-de-chaussée du bâtiment, le Roi-Soleil avait fait aménager quelques années plus tôt un appartement d’été qu’il destine à sa mère. Il en confie l’aménagement à Lemercier puis à Le Vau, le décor au sculpteur Michel Anguier et au peintre Giovanni Francesco Romanelli. Sa réalisation ferme définitivement le niveau bas de la galerie qui n’ouvre plus que par la porte centrale sur le jardin.

Au XIXe siècle, la galerie, très dégradée, est restaurée de fond en comble par l’architecte Félix Duban qui reprend maçonneries et toitures. La façade actuelle est le résultat de cette dernière grande restauration.