Coeur de Paris, l'Île de la Cité a été, dès l'origine, le centre du pouvoir. C'est sans doute à l'emplacement  de l'actuel Palais de Justice que s'élevait le siège du pouvoir administratif et militaire du gouverneur romain. Les rois mérovingiens y habitaient lors de leurs séjours à Paris. Les rois capétiens y vécurent aussi longtemps et, malgré la construction du Louvre par Philippe Auguste, Saint Louis et Philippe le Bel continuèrent à y loger. L'administration royale, installée à proximité immédiate du souverain, de plus en plus nombreuse, finit par envahir le Palais qui, après 1360, devint le siège définitif de la Cour de Justice, le Parlement, et n'a cessé depuis d'être le Palais de Justice.

Ensemble complexe de bâtiments grouillant d'activité, le Palais a été constamment modifié. De graves incendies en 1618, 1630, 1737 et 1776 l'ont ravagé, et il ne resta plus du Moyen-Âge que la Sainte Chapelle et des parties de l'ancien palais capétien (Tour Bonbec, salle des gens d'armes, salle des gardes, cantonnée par la tour César et la tour d'Argent, cuisines dites de St louis, et tour de l'Horloge ou Conciergerie. Cette appellation est héritée de l'époque où Jean le Bon, abandonnant définitivement le Palais vers 1350, en confia la garde à un haut fonctionnaire, le Concierge du Palais, qui s'y installa avec pour mission de faire régner l'ordre.
Les locaux du rez-de-chaussée sont alors convertis en prison à l'usage du Concierge et aussi du Parlement. On y logeait les prisonniers du Châtelet voisin durant l'instruction de leur procès. Communiquant par des escaliers avec les chambres de justice du premier étage, ces cachots humides et très mal aérés avaient une déplorable réputation. Ils reçurent des hôtes illustres, d'Enguerrand de Marigny, conseiller de Philippe le Bel, à la comtesse de la Motte, héroïne de l'affaire du collier, en passant par Ravaillac, la marquise de Brinvilliers et le bandit Cartouche. Mais c'est sous la Terreur que la prison reçoit sa prisonnière la plus célèbre, la reine Marie-Antoinette. Elle y séjournera durant tout son procès et ne la quittera que pour monter sur l'échafaud, le 16 octobre 1793. La prison a servi durant les grands travaux d'Haussmann, qui ont remodelé l'Île de la Cité. Devenue musée, la Conciergerie a ouvert ses portes au public en 1864.

Pour assurer la sécurité du Palais et la surveillance des prisonniers, une troupe de gardes stationnaient en permanence dans la salle qui porte leur nom. Il ne faut pas la confondre avec celle qui la jouxte, la grande salle basse ou salle des gens d'armes, construite entre 1302 et 1312. C'est la plus belle salle gothique de Paris, divisée en quatre nefs de neuf travées à soixante-neuf piliers, supportant la salle des pas perdus du premier étage. Cette salle servait de lieu de passage entre la Cour de Mai et la Cour des Magasins, actuelle cour d'entrée de la Conciergerie. Les quatre dernières travées de la salle des gens d'armes forment "la rue de Paris", ancien cachot qui, sous la Révolution, servait à loger sur des paillasses ceux qui ne pouvaient s'offrir une cellule.