在荆州期间，派手下人拦劫长江上往来商船，得到无数财宝。296年，石崇回到京师洛阳任太仆卿。其间，曾奉旨持节出使青州、徐州、督查二州驻军事务。石崇利用职权，又得到大批财富。石崇回京后，将多年积累的财富用于营建园林别墅。他在洛阳北邙金谷涧营建了一座“金谷园”。金谷园中，地势高低错落，森林茂密，流水淙淙，鱼池、水磨相间；竹园、果园、林园、药园、柏园无不具备。石崇独创的自然山水园林，连皇家园林也不能比。石崇在园中尽情娱乐，王公贵戚羡慕不已。征西大将军祭酒王翊从洛阳还长安，石崇在金谷园中为王翊设宴饯行。王翊一行及石崇亲朋好友欢聚一堂，席间，美女轮流作伴，佳酿尽让品尝，亭台不断转换。从清晨到深夜，游乐饮宴不绝。众人游至山顶，饮于凉亭，居高鸟瞰园景；步到水边，把酒临风，琴瑟共鸣；车还旅馆，前有锣鼓开道，后有锁呐相送。送别之前，石崇又设大宴，令与会所有宾客赋诗述怀：能即席赋诗的，赏给狼毫；宝砚一副；不能的，罚酒三斗兑现。宴后，石崇把所赋诗篇录为一集，命名为“金谷集”。石祟为“金谷集”亲自作序，并写入诗人姓名雅号。这次金谷盛宴被世人传为佳话。

    金谷宴后，石崇因事受株连被降为九卿之一——卫尉卿。此时石崇年已五十岁，仕途上不再进取，一心在金谷园中娱乐。他扩建金谷园，引水筑堤，挖土造湖。馆舍四周，水光四溢；鸟飞其上，鱼游其下；海棠、石榴、芳梨转眼可见。石崇好友河阳县令潘岳以诗相赞：“徊溪紫曲阻，峻阪路逶施；绿池泛淡淡，青柳沼依依；槛泉龙鳞涧，激波画珠挥；前庭树沙棠，后园植鸟碑；灵囿繁石榴，茂林列芳梨；饮至临华沼，迁坐登隆坻。”

    石崇爱好文学，所交朋友多是一代文豪。当时洛阳文人云集，常到金谷园中作客的有潘岳、左思、陆机、陆云、郭彰、刘琨、欧阳建、杜斌、王碎、邹捷、崔基、刘环、周恢、陈吻、刘讷、缪征、挚虞、诸葛诠、和郁、牵秀、许猛、刘舆；杜育等二十三人。石崇与他们结为好友，世称“金谷二十四友”。

    石崇爱好美女。他有爱姬数百人，都是身穿锦绣，佩带金翠。其中，绿珠最艳丽。石崇出使交州时遇到绿珠，用珍珠三斛买回。绿珠能歌善舞，尤其擅长吹笛。石崇曾谱写“归思引”一曲，让绿珠吹奏。笛声宛转修扬，闻者无不。

    石崇与潘岳依附于贾南风之弟贾谧。赵王司马伦诛灭贾氏家族，石崇因党附贾谧被免官。司马伦称帝后，孙秀受到重用。孙秀与石崇好友潘岳、石崇外甥欧阳建有过节。听说石崇有绿珠这样的绝世美女，孙秀就派使者索取。当时，石崇正与爱姬在金谷园中游步，孙秀使者人园说明来意。石崇叫出爱姬数十人，请使者挑选。使者说：“不知其中谁是绿珠?”石崇回答：“绿珠是我心爱之人，不能给。”使者说：“君侯博古通今，察远知近。绿珠之事可要三思。”石崇不以为然。使者离开不久又返回来，提醒石崇不要感情用事。石崇仍然不交出绿珠。使者告诉孙秀，孙秀大怒。正值淮南王司马允讨伐司马伦兵败身死之时，孙秀向赵王伦  诬告石崇、潘岳、欧阳建是司马允内应。赵王伦下令捉拿石崇、潘岳、欧阳建。石崇正在金谷园酒楼上与绿珠饮宴，看见佩甲武土赶到楼下，知道大祸临头，对绿珠说：“我今天要为你犯罪了。”绿珠泣不成声；“我应该死在官人面前。”说罢跳楼自尽。石崇被装入囚车押到东市行刑，仍然怀念绿珠而连声哀叹：“绿珠为我守家财而死。”押送他的人说：“财大招祸，你为何不早点把家财分给别人?”石崇低头不语。不久，潘岳也被押到刑场。石崇说：“你也来了。”潘岳说：“在金谷园中我曾有诗句：‘投分寄石友，白头同所归。’今日咱俩归期已到。”石崇听了感叹不已。石崇、潘岳被杀，两家亲族也无一幸免。

    石崇死后，金谷园中财产尽被没收。登记人册的水园有三十多处，奴婢八百多人，金银珠宝好几房间。

    金谷园风流事随着主人的消逝而到尽头。后人凭吊金谷园有诗一首：“积金累作山，山高小于趾。栽花比绿珠，花落还相似。徒有敌国富，不能买东市。徒有绝市容，不能楼上死。祗此上高楼，何如在平地。”杜牧也有金谷园诗以鉴后人：“繁华事散绝香尘，流水无情草自春。日暮东风怨啼鸟，落花犹似堕楼人。”