Affecté au Sénat sous le premier Empire (1804-1814), le palais fut transformé intérieurement par Chalgrin. En 1836, un nouveau bâtiment, du même style que le noyau original, lui fut adjoint du côté jardin ; Delacroix a décoré les voûtes de la bibliothèque de 1840 à 1846. Réduit et réaménagé dans les années 1860, le jardin contient de nombreux monuments et statues, dont la fontaine Médicis et le Silène de Dalou.