Desposou Florinda Gomes Pereira em 1855. Esta senhora não chegou a ser a baronesa de Drummond, pois faleceu em 14 de maio de1882, antes do marido receber o título de barão, o que ocorreu em 19 de agosto de 1888.
Foi administrador da Estrada de Ferro D. Pedro II, que iniciou as suas atividades de seu primeiro trecho em 1858.
Sendo amigo do Imperador D. Pedro II, adquiriu as terras da Imperial Quinta do Macaco, vale adjacente ao Morro dos Macacos da Princesa Isabel, por 120 contos de réis. Indo a Paris à época, ficou impressionado com a arquitetura daquela cidade francesa, decidindo urbanizar a área como se fosse um bairro francês, inclusive abrindo um boulevard. O bairro, com o nome de Vila Isabel, foi fundado oficialmente em 3 de janeiro de 1872.
Foi presidente do Jockey Club Brasileiro.
Drummond gostava muito de animais, possuindo diversos espécimes. Tinha autorização para importá-los e criou o primeiro Jardim Zoológico do Rio de Janeiro, em Vila Isabel, em 1888.
Colocava em uma gaiola coberta por um pano, um animal (bichos de porte pequeno) e dependurava no alto do portão do jardim zoológico. Eram feitas as apostas para descobrir qual o animal, parte do dinheiro arrecadado era revertido para a compra de mais animais para o zoológico e a outra para o apostador.
Com a Proclamação da República pelo marechal Deodoro da Fonseca, em 15 de novembro de 1889, o Jardim Zoológico perdeu a ajuda financeira que tinha do Imperador, e elaborou uma loteria para financiá-lo, onde cada número representava um animal, e cada ingresso do Zoológico dava direito a um bilhete numerado, para concorrer no sorteio do "bicho" do dia no encerramento das atividades do parque. Esse jogo ficou popularmente conhecido como Jogo do Bicho, vindo a ser posteriormente proibido, porém ganhou as ruas do Rio de Janeiro, se popularizou e se espalhou pelo Brasil e existe até hoje, mesmo como contravenção.
