La première moitié du dix-neuvième siècle est une longue période de tâtonnements. Tandis que de nombreuses voix réclament le déménagement de la Bibliothèque, d'autres s'impatientent du retard pris dans le catalogage des documents. En 1858, une commission conduite par Prosper Mérimée rédige un rapport sur les modifications à introduire dans l'organisation de la Bibliothèque impériale. Ses conclusions sont en partie reprises par Napoléon III qui confie à l'architecte Henri Labrouste la reconstruction sur place d'une partie des bâtiments.