公元前74年6月5日，汉昭帝驾崩，享年21岁。因为无子，7月18日，大将军霍光等人迎立昌邑王刘贺即位。据《汉书·霍光金日磾传》载刘贺罪行“受玺以来二十七日，使者旁午，持节诏诸官署征发，凡千一百二十七事。”刘贺在即位二十七天内，就干了一千一百二十七件荒唐事，平均一天四十件。

　　然而事实上，这只是霍光等大臣的托词。真实的原因恐怕是刘贺即位之后，急于提拔自己从昌邑带来的僚属，忽视了朝中重臣，得罪了以霍光为首的西汉上层统治阶级中的官僚集团。凭借罗列上述所谓的罪行托词，霍光以其不堪重任，突然，与大臣奏请15岁的皇太后(即孝昭皇后上官凤儿，大将军霍光的外孙女)下诏，于8月14日废黜了刘贺，并亲自送他回到封地昌邑(今山东省巨野县昌邑镇)，保留王号(昌邑王)，令其食邑二千户。同年，霍光尊立卫皇后(卫子夫)唯一曾孙、戾太子刘据唯一的遗孙、18岁的刘询为帝，是为汉宣帝。

　　霍光新拥立的汉宣帝刘询心底到底有些忌惮，在即位的第二年就让山阳太守张敞考察刘贺，发现他的“囚徒”生活很卑微不堪，公元前66年，他年纪虽然只有27岁，可是行动不便，也不再有的打算。还生养了22个子女，猥琐度日。汉宣帝看他如此可怜，保全了他的性命。

　　元康二年(公元前64年)，霍光写信给山阳太守张敞：“谨备盗贼，察往来宾客。毋下所赐书。”要求当地官员密切监视刘贺。从各种证据看来，刘贺之立废，实乃削权之举。

　　元康三年(公元前63年)，刘贺被贬斥到了今天的江西省永修县一带做了“海昏侯”。

　　在他的这个侯国里面，他又艰难地生活了4年直到去世。这4年中，虽然已经解除，但仍然被周边的官吏秘密监督，例如后来的扬州刺史“柯”就上报朝廷一件事情：刘贺与一个叫“孙万世”的人交往，孙万世问刘贺：“在被废除皇位前，君为什么不坚守内宫、关闭宫门，斩杀霍光，却听凭他们夺取皇位玺绶呢?”刘贺说：“是啊，当时太年幼，真是大大的失策啊。”孙万世又希望刘贺做“豫章王”，绝不要一直做这么普通的海昏侯。刘贺说：“道理是如此，但是这话不宜说啊。”于是朝廷下令查办刘贺，差点要逮捕他。皇帝发话说：“那就削除他的3000户封邑吧。”于是只剩下1000户人口与赋税，不久刘贺愤慨而死，年仅34岁。