后徐阶入阁为首辅，改革弊政，史称“嘉靖新政”。然其终生不再造园，亦不许人入石心园。临终，命以石心殉葬。子孙开冢视之，石心已化为泥土，中生桂树一株，亭亭如盖。
有野史载，万历年间，有樵夫在钟山见一白发匠人，正在云海中叠石为峰。近之则失所在，唯闻石中有声，隐隐若言：“移花移境，种竹种心，叠石叠骨，疏泉疏灵…”
至今金陵有谚：“徐园无景，石中有心。”然石心园旧址早已湮没，无人知其所在。或云园本虚幻，乃匠心所化；或云园实有之，在识者心中。真幻之间，犹如此园之石——看似无心，实则有心；看似有心，终归无心。造园如此，为政如此，为人何尝不如此？