Tout commence en 1538. Pendant une campagne militaire en Italie, le futur Henri II s'éprend d'une jeune beauté locale, une joile Piémontaise du nom de Philippa Desducs. Comme elle reste sourde à ses prières, le jeune prince incendia sa maison et, dans l'affollement général, enleva la jeune fille. De ce rapt romanesque naît une fille, la future Diane de France, qu'Henri fait élever en France ave ses propres enfants. La fillette parle le français, l'italien et l'espagnol, joue du luth et aime les belles-lettres. Elle prend le titre de duchesse d'Angoulême, épouse Horace Farnèse, puis François de Montmorency et reçoit de Charles IX (son demi-frère) le duché de Chatellerault.
Devenue veuve en 1579, elle s'établit à Paris dans l'un des plus majestueux hôtels du quartier, le grand hôtel d"Angoulême dont la construction se poursuit jusqu'en 1611.
Le corps de logis s'élève entre une cour d'honneur, face à la rue Pavée, et un jardin. C'est peut-être le premier monument parisien où apparaît l'ordre colossal, c'est à dire un seul ordre et non deux ordres superposés comme le voulait la tradition: six pilastres corinthiens s'élèvent sur toute sa hauteur et un petit fronton le couronne au centre. De part et d'autre, deux pavillons de plan carré sont surmontés de frontons curvilignes sculptés de cerfs et des emblèmes de Diane, également déesse de la chasse. Les appartements intérieurs, somptueusement réchauffés par des tentures de cuir doré et des tapisseries des Flandres, s'organisaient autour d'un monumental escalier aujourd'hui disparu. On a retrouvé en revanche au rez-de-chaussée de superbes solives peintes aux chiffres de Diane et des motifs ayant trait à la chasse sur fond de cartouches dorés, rouges, jaunes et bleus.
Avant de mourir en 1619, à plus de quatre-vingts ans, la duchesse lègue son hôtel à son "neveu" préféré, Charles de Valois, le fils naturel de Charles IX et de Marie Touchet. Charles fait élever l'aile gauche de la cour d'honneur, avec sa tourelle en encorbellement portée par trois trompes (angle avec la rue des Francs-Bourgeois).
De 1668 à 1774, l'hôtel est propriété des Lamoignon, dont il gardera le nom et le beau fronton sur rue.
En 1762, l'hôtel abrite l'une des premières bibliothèques publiques de Paris, ouverte alors deux après-midi par semaine, et dont les fonds provient du legs d'Antoine Moriau, grand amateur de livres et un temps locataire d'une partie de l'hôtel. En 1928, l'hôtel est acheté par la Ville de Paris; il abrite depuis 1968 la Bibliothèque historique de la Ville de Paris.