Par une loi du 3 août 1795 (16 thermidor an III), de créer l'établissement du Conservatoire de musique en lieu et place de l'Institut national de musique. La nouvelle structure est gérée par un directoire composé de Gossec, Méhul, Grétry, Le Sueur et Cherubini. Bernard Sarrette obtient le rôle de commissaire chargé de l'organisation. L'enseignement est limité aux disciplines instrumentales, particulièrement les cordes et les vents. Dès la première année, l'effectif est de six cents élèves.
Bon nombre de musicologues ont réclamé la concentration des ressources documentaires parisiennes en un seul lieu et sous une seule gestion. Les pouvoirs publics ont répondu à cette requête en décidant de mutualiser les crédits de bibliothèques aux missions voisines et de réunir à la Bibliothèque nationale au sein d’un futur département de la musique la bibliothèque du Conservatoire national de musique et d’art dramatique et celle de l’Opéra. Dans un premier temps, 1935, un décret est promulgué, réunissant les bibliothèques musicales de l'Opéra et du Conservatoire à la Réunion des Bibliothèque nationales.