A terra onde o atual bairro de Vila Isabel fica pertencia à Companhia de Jesus desde 1565. Eles estabeleceram lá uma plantação de cana-de-açúcar, a Fazenda de Macaco, e a arrendaram a imigrantes portugueses. Depois da proibição da ordem em 1759 a Coroa Portuguesa confiscou os bens dos jesuítas e entre outras coisas a Fazenda de Macaco.
Até a independência do Brasil em 1822 a terra pertencia à Coroa Portuguesa. Em 1829 o imperador Dom Pedro I ofereceu a fazenda à sua segunda esposa Amélia. Apesar da abdicação do seu marido, que renunciou ao trono em favor de seu filho Dom Pedro II, e do exílio do casal em Portugal, a fazenda permanecia estar da posse da Duquesa de Bragança até um pouco antes da sua morte em 1873. A fazenda foi vendida ao barão de Drummond em 1872.
Com a fundação da cidade de São Sebastião do Rio de Janeiro em 1565 a história do bairro Vila Isabel começou também. Três meses depois da fundação, o donatário Estácio de Sá ofereceu a terra do bairro de hoje à ordem dos jesuítas. No século XVIII os jesuítas estabeleceram uma plantação de cana-de-açúcar denominada a Fazenda do Macaco. Até 1759 a fazenda foi arrendada a agricultores portugueses.
Em 1759 o primeiro ministro de Portugal, o marquês de Pombal, proibiu a ordem dos jesuítas. Os monges foram expulsos do país e das suas colônias e os bens deles form confiscados. Assim a fazenda de Macaco passou a pertencer à Coroa Portuguesa. Quando o príncipe regente Dom João VI fugiu com a sua corte do exército de Napoleão, chegou ao Rio de Janeiro em 1808, ele aumentou a fazenda comprando mais terra. Depois de sua volta a Portugal o seu filho Dom Pedro I declarou o Brasil independente no dia 7 de setembro em 1822. Desse momento em diante a fazenda pertencia à nova família imperial.
Em 1829 Dom Pedro I casou-se com Amélia Augusta Eugênia Napoleoão de Behaurnais, filha de Eugénio Beauharnais, duque de Leuchtenberg. Eugénio era o filho da imperatriz Josefine e enteado de Napoleão I. O imperador Dom Pedro I ofereceu a fazenda à sua nova esposa para que ela pudesse aproveitar a natureza e o perfume das flores.
Mas a sorte deles não durou muito tempo. Em 1831 o imperador teve que renunciar ao trono por causa de motivos políticos e abdicou em favor de seu filho Dom Pedro II. Ele foi ao exilado para Portugal onde faleceu em 1834. A fazenda permanecia na posse da sua viúva, a duquesa de Bragança, que tinha só 22 anos nesse momento. Ela ficou em Portugal até a sua morte em 1873. Um ano antes ela vendeu a fazenda para João Batista Viana Drummond (desde 1888 barão de Drummond).