刘邦晚年宠爱戚姬及其子赵王如意，疏远吕后，几次想废黜吕后所生的太子刘盈(惠帝)而立刘如意，但因大臣反对，只好作罢，为了皇权的巩固，刘邦费尽心机，本来他年龄就大，在平定英布叛乱时又中了箭伤，到了长安病情加重，吕后找来名医，刘邦问他病情，医生说能治，刘邦一听口气，就知道不会好了，气得大骂医生：“以布衣提三尺剑取天下，此非天命乎?命乃在天，虽扁鹊何益!”说完赏赐给医生五十金打发他走了。

　　吕后看着弥留中的刘邦，问他死后人事的安排：“萧相国死后，由谁来接替呢?”刘邦说曹参，吕后问曹参之后是谁，刘邦说：“王陵可以在曹参之后接任，但王陵智谋不足，可以由陈平辅佐，陈平虽然有智谋，但不能决断大事，周勃虽然不擅言谈，但为人忠厚，日后安定刘氏江山肯定是他，用他做太尉吧。”吕后又追问以后怎么办，刘邦有气无力地说：“以后的事你不会知道了。”

　　刘邦驾崩于公元前195年，即高祖十二年的四月二十五日(6月1日)，享年六十二岁，葬于长陵(在今陕西咸阳)，谥号为高皇帝，庙号是太祖，葬于长陵。

　　长陵，位于西安市中心以北约20公里、咸阳市以东约20公里的窑店镇三义村北，1988年，国务院将其列为全国重点文物保护单位，长陵又名“长山”，是汉高祖刘邦与皇后吕雉(吕后)的陵墓。

　　刘邦死后，群臣议定的庙号是“太祖”，谥号是“高皇帝”，正式的全称为“汉太祖高皇帝”，简称庙号应该是“汉太祖”，简称谥号则是“汉高帝”，而不是人们习惯称呼的“汉高祖”。

　　《史记·卷八 高祖本纪第八》曰：“丙寅，葬。己巳，立太子，至太上皇庙。群臣皆曰：高祖起微细，拨乱世反之正，平定天下，为汉太祖，功最高。上尊号为高皇帝。太子袭号为皇帝，孝惠帝也。令郡国诸侯各立高祖庙，以岁时祠。”

　　《汉书·卷一下 高帝纪第一下》文字相同，只是恐引起歧义，将《史记》中的“高祖”换为“帝”。

　　司马迁《史记》作“高祖本纪”，首称刘邦为“高祖”，盖司马氏为汉世宗孝武皇帝时人，孝武皇帝之皇考为孝景皇帝，孝景皇帝皇考为太宗孝文皇帝，孝文皇帝皇考即是太祖高皇帝，对武帝而言，高皇帝是自己的曾祖父。

　　按《尔雅》：“曾祖王父之考，为高祖王父”，照理讲，汉武帝要称呼太上皇(高帝之父)为高祖，但是《尔雅》上文郭注曰：“高者，言在最上。”《释名》云：“高祖，高，皋也，最在上皋，韬诸下也。”《潜邱札记》云：“曾祖之父为高祖，然自是以上，亦通谓之高祖。”

　　《周书·康王之诰》：“无坏我高祖寡命”，高祖指文王、武王，这是以曾祖父、祖父称“高祖”。因为周文王、武王是肇基建国之王，功高至伟，所以称高祖，是最上之尊称。

    同样，汉武帝称曾祖父高帝为“高祖”亦是此意，是后世子孙对于先祖的至高称呼，司马氏应该是使用当时汉朝对高皇帝的尊称，以刘邦为“高祖”。