L’universitas magistrorum et scholarium Parisiensis (mot à mot l’« ensemble des maîtres et des élèves de Paris ») est d’abord une corporation de maîtres et d’élèves qui apparaît à Paris vers 1150, en complément de l’école de théologie de Notre-Dame.
Le premier acte qui lui donne un statut officiel est une charte du 15 janvier 1200 par laquelle le roi Philippe Auguste accorde à la « communauté » (c'est l'invention du mot « Université » au sens d'établissement d'enseignement, terme du code justinien qui n'avait auparavant qu'un sens strictement juridique de corporation, personne morale) de ses membres le « for ecclésiastique », c’est-à-dire le privilège d’être jugé par un tribunal ecclésiastique et non civil.
Les membres de l’université sont donc tous considérés comme des clercs, ce qui ne les empêche pas d’être très turbulents et de provoquer des incidents dans les tripots parisiens. L’université est reconnue par le pape Innocent III — qui y avait étudié —, par une bulle de 1215, bulle confirmée par une autre de Grégoire IX de 1231. L’organisation de l’enseignement en quatre facultés — décret (ou droit canon, le droit civil n'ayant été autorisé qu'en 1679 par Louis XIV), médecine (médecine, chirurgie, apothiquerie), théologie et « arts libéraux » (grammaire, rhétorique, dialectique, arithmétique, géométrie, musique, astronomie) — remonte à un arbitrage pontifical de 1213. Le logement des étudiants (les « écoliers ») et l’organisation des corps se fait au sein de fondations pieuses appelées « collèges ». L’université de Paris est un studium generale c’est-à-dire un centre d’enseignement de toutes les disciplines.
Aux XIIe et XIIIe siècles, c’était l’une des premières universités d’Europe, avec Bologne, Oxford, Cambridge, Salamanque, Montpellier et Toulouse.
L’université de Paris ne tarde pas à devenir une véritable autorité morale. Les docteurs de l’université se prononcent sur des controverses fameuses comme la taxation des bénéfices ecclésiastiques par le Saint-Siège, et jouent un grand rôle au moment du Grand Schisme d’Occident (1378-1417). C’est le chancelier de l’université de Paris, Jean de Gerson, qui anime d’ailleurs le concile de Constance (1414-1418), qui met fin au schisme. Pendant la guerre de Cent Ans, l’université soutient les Anglais et le parti bourguignon, et approuve l’exécution de Jeanne d’Arc (1431). Son ancien recteur, Jean Beaupère, participera aux interrogatoires de cette dernière.
Au XVe siècle, l’université est souvent en grève, notamment pendant trois mois en 1443, et pendant six mois de septembre 1444 à mars 1445, pour défendre son exemption fiscale. Jusqu’en 1446, les étudiants dépendent en matière pénale de l’université. Mais il arrive régulièrement que des écoliers soient arrêtés par le prévôt du roi. Dans ce cas-là, le recteur de l’université se rendait au Châtelet pour demander à ce que l’écolier soit jugé par l’official de l’université. Si le prévôt du roi refusait, l’université se mettait en grève.
La fin du xve siècle marque pour l’université de Paris le début d’une période délicate. Charles VII la soumet, en 1446, à la juridiction du parlement de Paris, ce qui suscite des émeutes estudiantines auxquelles participe, entre autres, le poète François Villon. En 1453, un écolier, Raymond de Mauregart, est tué par les sergents du Châtelet et l’université se met à nouveau en grève pendant plusieurs mois.
L’université de Paris s’oppose en vain au concordat de Bologne, signé en 1516 par François Ier, qui donne au pouvoir royal la possibilité de contrôler l’accès aux grands bénéfices. La fondation du Collège de France, en 1530, et l’apparition de la Compagnie de Jésus et de la Société de l'oratoire de Jésus au milieu du xvie siècle viennent concurrencer l’université, avant que les guerres de Religion n’embrasent la France. En 1600, Henri IV supprime les privilèges de l’université.
Après des velléités d’indépendance au cours de la Fronde, l’université se soumet à Louis XIV. Elle condamne les idées de Descartes, puis celles des philosophes du siècle des Lumières. Après l’expulsion des Jésuites en 1762, elle annexe le collège Louis-le-Grand et un nouveau bâtiment est construit place du Panthéon pour la faculté de droit.
L’université de Paris disparaît avec la suppression des corporations durant la Révolution française. En 1791, René Binet est chargé des fonctions de recteur par la municipalité de Paris. Au mois de février 1792, la faculté de théologie et le tribunal académique furent supprimés, sur le rapport du représentant Gaudin.
Le 19 avril 1792, l’assemblée ordonna que tous les instituteurs ecclésiastiques seraient obligés de prêter serment à la constitution civile du clergé.
Puis la Convention nationale supprima par décret du 15 septembre 1793 les collèges de plein exercice et les facultés sur l'ensemble du territoire de la République. La Convention nationale décida de remplacer l’enseignement des anciennes universités par un ensemble d’écoles centrales et d’écoles spéciales (École polytechnique, Conservatoire national des arts et métiers, École normale supérieure, École des beaux-arts...), précédées par les écoles primaires. En 1794 une école de médecine fut créée, qui reprit les fonctions de la faculté de médecine. Elle fut rejointe en 1804 par une école de droit.
La loi de 1806 crée une académie de Paris, qui reprend les fonctions de l’ancienne université de Paris, avec une faculté des lettres, une faculté des sciences, une faculté de théologie catholique (jusqu'en 1885), toutes les trois à la Sorbonne, une faculté de droit et une faculté de médecine. Chaque faculté est dirigée par un doyen nommé par le grand-maître de l’université de France. Celui-ci est également recteur de l’académie de Paris.
À la suite du décret du 25 juillet 1885 donnant aux facultés la personnalité civile, le décret du 28 décembre 1885 instituant un conseil général des facultés dans une même académie, la loi du 28 avril 1893 donnant la personnalité civile aux corps formés par la réunion de plusieurs facultés d’une académie et celle du 10 juillet 1896 donnant le nom d’université aux corps de facultés, la nouvelle université de Paris fut créée en 1896 comme groupement de la faculté des sciences, de la faculté des lettres, de la faculté de droit, de la faculté de médecine, de la faculté de théologie protestante (créée en 1877, transformée en faculté libre en 1905) et de l’École supérieure de pharmacie. Elle fut inaugurée le 19 novembre 1896 par le président de la République Félix Faure.
Dès les années 1910, de nouveaux bâtiments sont construits (Institut de géographie, Institut d'Art et d'Archéologie). En 1914, l’université de Paris compte 17 308 étudiants, elle en compte 64 151 en 1956. La très forte croissance des effectifs oblige les différentes facultés à investir de nouveaux sites ; en particulier la faculté des sciences quitte progressivement la Sorbonne pour le campus d’Orsay puis pour celui de Jussieu ; une partie des enseignements de lettres est transférée à Censier et à Nanterre, tandis que la gestion s'installe porte Dauphine.
Après les événements de mai 1968 et pour diverses raisons, une réforme profonde de l'enseignement supérieur sembla nécessaire. La loi Faure visait à cela. Elle invitait les professeurs à se répartir comme ils l'entendaient au sein d'unités d'enseignement et de recherche, disciplinaires, qui seraient ensuite réunies en de nouveaux établissements. En raison des rivalités encore toutes chaudes issues du mouvement de mai, les regroupements furent politiquement très marqués, au départ du moins. L’université de Paris fut ainsi démembrée et cessa à nouveau d'exister le 31 décembre 1970 (annonce du ministre Olivier Guichard le 20 mars 1970). Treize universités autonomes, théoriquement pluridisciplinaires, lui succédaient.
S'il a pu sembler nécessaire à l'époque, le démembrement de l'université de Paris a été depuis vivement critiqué. Des rapprochements ont eu lieu entre universités parisiennes à partir des années 2000. La création de l'association Paris Universitas en 2005, puis la mise en place des PRES à partir de 2007 a autorisé ce type de rapprochement institutionnel. En 2007, les PRES UniverSud Paris et Université Paris-Est ont été créés, regroupant principalement des établissements se situant hors de Paris, suivis en 2010 des PRES Sorbonne Paris Cité et Sorbonne Universités. Ces regroupements ont été consolidés à l'occasion de la désignation des "pôles pluridisciplinaires d'excellence d'enseignement supérieur et de recherche de rang mondial (IDEX)".