Elprimitivo edificio era un bello palacio flanqueado por dos torreones con chapitel que daban a la calle de la Almudena y a la del Factor, situadas en el histórico barrio de los Austrias. Posteriormente, el edificio fue cambiando sucesivamente de manos hasta que, en 1842, los duques de Abrantes lo compraron y encargaron una profunda