Em 1940, o Lazareto foi outra vez reformado e modificado para transformar-se em presídio - Colônia penal Cândido Mendes que recebeu os presos comuns que estavam na Colônia de Dois Rios, a fim de que essa última abrigasse os presos políticos da 2a Grande Guerra Mundial. Essas transferências foram devidas ao fato de que a Ilha de Fernando de Noronha , na qual estavam sendo aprisionados os presos políticos, foi cedida ao Governo americano para utilização como base Aéro-Naval. Paralelamente à reforma do Lazareto e à de Dois Rios, em 1940, foi iniciada a construção da estrada que liga Abraão a Dois Rios. A construção foi feita com mão de obra dos presos comuns. Tratores foram transportados por navios da Marinha .

O Lazareto abrigou os presos comuns até 1954 quando então foram transferidos de volta para Dois Rios que também mudou de nome para Cândido Mendes. Depois disso o Lazareto foi demolido por ordem de Carlos Lacerda, que na época era Governador do Estado. O aqueduto foi a única coisa que restou inteira.

É sabido também que políticos, espiões , colaboradores de governos estrangeiros e célebres escritores passaram períodos de suas vidas na Colônia de Dois Rios. Alguns acabaram estabelecendo-se definitivamente na Ilha, outros deixaram para a posteridade, em seus livros, as amargas recordações do cativeiro. Dentre eles estão Graciliano Ramos e Orígenes Lessa (escritores) e os revolucionários, Flores da Cunha, Agildo Barata e outros mais.