L'île était autrefois utilisée par les marchands d'esclaves arabes pour y intrerner les esclaves les plus gênants qu'il avait amenés du continent africain pour empêcher leur fuite avant de les expédier aux acheteurs arabes, ou pour la vente aux enchères au marché des esclaves de Zanzibar.

Les esclaves ont été jetés sur l'île.

En 1893, Lloyd Mathews a construit la prison. L'idée de la prison était d'envoyer des criminels violents de la colonie du Tanganyika sur le continent à l'île de la prison.

L'île de la prison a fini par être utilisée comme centre de quarantaine, au lieu d'une prison, pour les épidémies de fièvre jaune ou autres qui sévissaient autrefois dans la région.

Prison Island est restée la propriété du gouvernement, qui a converti les nouveaux bâtiments de quarantaine en maison d'hôtes.

L'ancienne prison est toujours debout avec ses cellules, offrant un abri à des tortues géantes orginiaires d’Aldabra, qui ne peuvent maintenant être trouvées que sur cette îles.