Die Insel wurde einst von einem arabischen Sklavenhändler genutzt, um die lästigeren Sklaven einzudämmen, die er vom afrikanischen Festland mitgebracht hatte, um ihre Flucht zu verhindern, bevor er sie an die arabischen Käufer verschickte oder um sie auf dem Sklavenmarkt von Sansibar zu versteigern.
Die Sklaven wurden auf die Insel geworfen.

1893 baute Lloyd Mathews das Gefängnis. Die Idee des Gefängnisses war es, gewalttätige Verbrecher vom Tanganjika-Festland auf die Gefängnisinsel zu schicken.

Die Gefängnisinsel wurde schließlich als Quarantänezentrum anstelle eines Gefängnisses für Gelbfieber-Epidemien genutzt, die einst in der Region wüteten.

Prison Island blieb im Besitz der Regierung, die die neueren Quarantänegebäude in ein Gästehaus umwandelte.

Das alte Gefängnis steht noch immer und bietet Schutz für einige der Riesenschildkröten, die nur noch auf dieser Insel zu finden sind, und die Zellen.