До революции Каменный остров находился в императорской собственности. При Николае II здесь активно строили дачи аристократы.
В 1920 году Исполком Петроградского Совета принял решение организовать дома коллективного отдыха трудящихся на Каменном острове. Бывшие особняки и дачи, некогда принадлежавшие представителям «высшего света» столицы, были переоборудованы в санатории с целью предоставить рабочим Петрограда возможность для культурного и здорового отдыха. Торжественное открытие сопровождалось концертом, театрализованным представлением, соревнованиями гребцов, митингом и фейерверком.
Каменный остров был переименован и на десятилетия стал Островом Трудящихся.
В хрущевско-брежневские времена на острове стала селиться номенклатура КПСС, строить там свои дачи, и район в народе прозвали «островом глухих заборов».
В 1989 году обуржуазившаяся верхушка КПСС сбросила маски и вернула острову название Каменный. В последние годы селиться на острове предпочитали друзья Путина, экс-чиновники Минобороны и крупные бизнесмены.