五峰園的園景是秀麗的，從弄內正門進入，循西北端的回廊，可達船舫名“柱石軒”。此軒設計精巧，獨具一格，它是陸地上矗起形似船舫的軒屋，俗稱旱船。往東，為園中主廳五峰山房，室內宏敞氣概，部署精雅得體。廳南有清瑩小池，天光云影，拉開人們的視野。廳前面臨一座蜿蜒峻拔的假山，全用湖石砌筑，系明代舊物，為文伯仁全心辟劃的珍品。假山間有峭壁、峽谷、石橋、石梁，古樹參天，花木掩映，五峰錯落聳峙。東南角看似隱藏，但往下卻隱藏著一處彎曲多姿的石洞。出洞后豁然爽朗，由此可攀緣峰頂，縱覽全園景致。池西有土崗隆起，綠蔭擁簇，湖石圍繞，山巔起亭名柳毅亭，其下土阜，相傳為唐代的柳毅墓。亭內，昔日供奉柳毅神像。

五峰園始建于明代嘉靖年間，為長州尚書楊成所筑，俗稱“楊家園”、一說園為文征明之侄畫家文伯仁所筑，文伯仁號五峰老人。園中聳立五座太湖石峰，高二丈，頗極皺瘦玲瓏之致，并峙高阜間，形似老丈，又名五老峰，劃分為“丈人峰”、“觀音峰”、“三老峰”、“慶云峰”及“擎云峰”。全園以五峰勝，輔以水池，有峭壁、峽谷、巖穴、石橋、古樹、旱船、園亭、巖洞等景。園西南角有土墩，俗傳為唐柳毅墓。該園屢易其主，惜抗日戰爭前后既散為民居，年久失修，現已荒蕪，修建坍，水池填塞，古樹枯死，二座石峰倒地。2021年曾對峰石舉行過保護性維修加固。2021年，五峰園被列為市級文物保護單元。

假山上的五座石峰，為園中主景。各高二丈許(約七米左右)，玲瓏瘦皺的體態，因形似老丈，故名五老峰。這五座石峰的來源，稽考古籍，有二種說法：

一說，這些石峰都是宋代“花石綱”的遺物。當時蘇州人朱面是宋徽宗的寵臣，負責采辦“花石綱”，設蘇杭應奉局，對太湖中和民間珍藏的異石，窮極搜羅，運至汴京起造皇家園林“艮岳”。據徐大焯《燼余錄》紀錄：朱面主辦“花石綱”時，毀閶門內北倉，為自己營造了一座養植園。栽種大量盆花，每逢春秋盛日，必供設數千盆，紅紫芳菲，引人入勝。厥后朱面事敗，被宋欽宗誅殺，養植園中的花木，也被砍斫為薪，僅存二丈大石六、七方，亂堆在柳毅橋畔。明代時，被移至五峰園中。

又一說，北宋熙寧年間，梅宣義曾在桃花塢(今高長橋周圍)建有一座五畝園，又稱梅園。內有清池奇石，并峙五座石峰，名丈人峰、三老峰、觀音峰、桃塢慶云峰和擎天柱，各高二丈許。明代，五畝園逐漸衰落，石峰被移置閶門內五峰園中。

綜上所述，無論何種說法，橫豎這五座石峰，都是太湖石峰中之佼佼者，在蘇州園林中足可與冠云、瑞云諸峰相媲美，確為不能多得的名峰異石。

園內柳毅墓，也是一處值得傳誦的事跡。雖然唐代李朝威所著傳奇《柳毅傳》稱柳毅籍貫是湖南，但在《異聞集》、《吳縣志》等書中，卻明確指出：唐代儀鳳年間的儒生柳毅，字道遠，吳縣人，棲身在閶門下塘。他的居宅周圍，有座柳毅橋。據南宋《平江圖》所示，橋在今張廣橋之西，南面隔河與皋橋相望，這是一座風姿秀美的石拱橋。而《吳門補乘》、《五畝園小志》等書，則有柳毅墓在五峰園中的紀錄。蘇州另有多座水仙廟、柳仙堂，都是祭祀柳毅的。在洞庭東山，另有一口柳毅井，“舊井潮深柳毅祠，封書誰識洞庭君？”柳毅傳書的故事，在蘇州一直撒播至今。

該園屢易其主，抗日戰爭前后，園散為民居。園因年久失修，水池填塞，二座石峰傾倒。2021年，五峰園被列為市級文物保護單元，曾稍加保護整修，于2021年10月1日修復完畢，正式對外開放。