C'est en observant deux jeunes soeurs sourdes-muettes communiquant à l'aide de signes que l'abbé de l'Epée eut l'idée en 1760 d'ouvrir sa maison de la rue des Moulins. Les élèves de son école pou sourds-muets étaient trente en 1771, soixante-douze en 1784. Cette initiative connut un retentissement international. Louis XVI, l'empereur d'Autriche-Hongrie Joseph II, des centaines de personnes du meilleur monde vinrent assister aux leçons publiques données par le bon abbé deux fois par semaine.

En 1794, la Convention attribue à l'école l'ancien séminaire St Magloire, au faubourg St Jacques, dont le bâtiment central est conservé. C'est là que, sous l'Empire, le docteur Itard, médecin de l'institution, soigne le jeune Victor, l'enfant sauvage de l'Aveyron, dont l'histoire a inspiré à François Truffaut son film l'Enfant sauvage.
Un portail monumental est élevé à cette époque, mais il fallut un incendie dans le laboratoire de physique en 1818, pour que l'école soit agrandie à ses dimensions actuelles grâce à la construction de deux ailes par Peyre et Philippon, de 1823 à 1826, tandis qu'était surélevé le corps de logis principal.