C'est dans un Passy encore campagnard qu'Honoré de Balzac vient élire domicile en 1840, pour fuir ses créanciers, après la vente sur saisie de son domaine des Jardies.

Il a loué sous le nom de M.de Breugnol (nom emprunté à sa gouvernante et maîtresse, Madame Breugniot, qui vivra là avec lui), l'ancienne orangerie d'une folie du XVIIIè siècle.
Cette maison, construite à flanc de coteau, et discrètement nichée dans la verdure, présente l'avantage de posséder deux issues permettant de s'éclipser en cas de visite inopportune...

Balzac occupe un modeste appartement de cinq pièces, qu'il qualifie de cabane ou de halle, et où il se plaint du voisinage d'un blanchisseur et "de cinq ménages de prolétaires, avec enfants de prolétaires, qui font un tel tapage que j'y perdrai trente mille francs par an de copie". Il n'en partira qu'en 1847, pour aller vivre plus luxueusement avec Madame Hanska aux Ternes, où il mourra en 1850.

Depuis 1960, la maison de Balzac est devenue musée. Son cabinet de travail a été reconstitué, avec le réchaud-veilleuse dont il ne se séparait jamais, son fauteuil et la petite table où fut écrite toute une partie de l'immense Comédie humaine, près d'une fenêtre d'où la vue plongeait, par-delà la rue Berton, sur les jardins de l'ancien hôtel de la princesse de Lamballe, devenu ambassade de Turquie.