公园位于南京五台山余脉小仓山，原为曹雪芹祖上林园。它是江南著名的私人花园。清代江南三大著名花园之一。现在地面上的主要建筑已经不存在了，只有遗址。
随源的历史可以追溯到明末的吴应姬焦园，清康熙时期是江宁编织曹寅家族园林的一部分。曹家的姻亲富察曾经说过，随源是《红楼梦》中的一个大观园。后来，接任江宁编织的隋赫德被称为隋编织园和隋园。清乾隆十三年(1748年)，袁枚买了这个花园，叫随源，死后葬在随源。
公园在太平天国时期被夷为平地，柠檬无存。后来，太平军开荒种粮，拆毁了公园，运走了公园里的宝藏。世界著名的花园变成了一个农场。1923年7月，金陵女子大学校址永久移至公园，原为江苏省文物保护单位。
随园的建筑相当能体现袁枚的匠心独运。袁枚在遗嘱中曾说：随园一片荒地，我平地开池沼，起楼台，一造三改，费用不算。奇峰怪石，重价购买，绿竹万竿，亲自种植。用具是檀梨文梓，雕漆枪金；玩物是唐碑，商彝夏鼎，书是青田黄冻，名手雕刻；端砚是蕉叶青花，古风格多，是江南北富裕家庭所无有的。可见，随园配套的器物，古玩的奢华，花费巨大。
随园景区建设相当精致。过红土桥，就是随园。柴扉北向，入扉缘短篱，穿修竹，行绿荫，曲折通门。入院，四桐角立，面东屋三对，管钥全园。屋西沿篱下坡，为入园径。北入内室，屋右拾级登回廊。顺廊而西，一阁，为登指楼台胜利之初，内藏当代名贤投诗，称诗世界……北折入藤画廊，秋藤很古，根居室内，盘旋出户上高架，布阴满庭。循廊登小仓山房，陈方丈大镜三，晶莹剔透，庭中花鸟树石，写影镜，别有天地。……东偏关室，玻璃代纸窗，纳花月，拒风露，两壁放宣炉，冬炭，温如春，不知霜雪为寒。……斋边绕南出，说水精域，满窗嵌白玻璃，湛然空明，如游玉。拓镜屏又南出，说蓝天，都是蓝玻璃。……登上绿晓阁，朝阳初升，万绿齐晓，翠微(亭)白塔，聚景窗前。下梯东转，说绿净轩，都是绿玻璃，掩映四山，楼台竹树，秋水长天，一色晕绿。就花园窗户的装饰而言，它使用了当时中国非常罕见的玻璃。它的颜色包括蓝色、绿色和白色，创造了蓝天的蓝色水晶世界、冰晶玉洁的白色世界和绿杨树垂柳的绿色世界。
袁枚死后，他的后代继续经营公园，公园很有名。许多人参观并欣赏公园的风景。由于游客众多，公园的门槛被践踏，每年更换一两次。袁枚的孙子袁祖志在《花园琐事》中记载:一般、都统、督、抚、司、道，或者第一次来任所，或者说白门，一定要来玩，地方官员在假花园里设宴。花园里的人大多是春秋两季之年，则秋游的人，更不可胜算。总有一两万有一两万人，而送考者、贸易者，又有几万人，总而言之，几十万人左右。既来白下，就要跟着花园走，所以每年花园的门槛会更容易一两次。”
袁枚晚年定居南京，修建花园，为南京打造了一个著名的中国文化品牌，包括《花园诗》、《花园食品清单》等文化作品，笔宝贵的文化财富。他建议恢复随园的文化历史遗迹。虽然花园里的建筑已经消失了，花园里老人的墓地也被扫走了，花园里的历史概念已经不存在了，但花园的原址仍然可以找到，即使不能重建花园里的建筑，至少可以竖起一块石碑，告诉人们花园的历史渊源，让人们记住一位文化老人住在这里，这片热土诞生了花园诗、花园食品订单等文化文章。”
