公孙述如此优柔寡断，加上在蜀地任人唯亲，使得他失去了和刘秀争天下的最后机会。

　　待到隗嚣暴亡之后，刘秀命令汉军再次对陇右用兵，最终彻底消灭了隗嚣割据势力。其间，公孙述派出去的援军也损失甚重，败军败将逃回，使得蜀中大震。

　　陇右隗氏政权的覆灭，顿使公孙述所在的益州也失去了北部屏障。

　　建武十一年，光武帝刘秀命大将岑彭和来歙分别从南、北两个方向大举伐蜀。从此，公孙述政权的运祚，也只好按天来计算了。

　　对于汉军的进攻，公孙述不是没有准备。早在建武九年，他已经命令翼江王田戎、大司徒任满、南郡太守程泛等率领数万兵马沿江乘竹排下江关(今四川奉节东)。蜀军气盛，当时还击破刘秀手下威虏将军冯俊等部汉军，并攻克巫县及夷陵、夷道(今湖北宜都)。

　　蜀军当时占据荆门、虎牙要地(这里的荆门、虎牙，皆为山峰之名。荆门山在南，虎牙山在北，江水从中流过。其地，大概在今天湖北宜昌东南)，并横江大起浮桥、楼观，在水中竖立木桩以绝水道，同时，蜀军在陆路也跨山结营，想方设法抵抗汉军的进攻。

　　由于荆门山防线坚固而险，公孙述西蜀南部地区一直大有屏障可依恃。汉将岑彭曾多次试图夺回荆门，一直没有成功。

　　既然如今皇帝命令汉军大举伐蜀，大将岑彭立功心切。他总结了以往的教训，准备大小各种战船数千艘，先对蜀军施以火攻，烧毁了蜀军设在荆门一线的几乎所有浮桥和楼观，使得蜀军大乱，当时溺死者数千人。

　　蜀军诸军溃逃。发觉大势不妙，蜀将王政就斩杀了大司徒任满，率领手下投奔了汉军;蜀将田戎自知不敌，退保江州。

　　至此，刘秀亲自给公孙述写信，陈言祸福，表示说，只要公孙述投降，必定保以富贵。

　　看完刘秀来信之后，公孙述大声叹息，把刘秀来信递给平时所亲近的心腹常少和张隆看。这二人对当时蜀国的情况心知肚明，都力劝公孙述早降为妙。

　　思忖久之，公孙述慨叹道：“废兴，命也。岂有降天子哉!”

　　于是，其左右莫敢复言投降之事。

　　岑彭率领汉将追击至江州，见城高池深，一时难以攻取，就转攻平曲，结果取得大胜，缴获蜀军粮食数十万石，使得汉军补给一时间得到了保障。

　　公孙述着急，马上命令自己弟弟公孙恢、大将延岑、以及隗嚣手下投奔过来的王元率领重兵据守广汉及资中，同时，他还派遣侯丹率两万余人据守黄石(今四川涪陵东北)。

　　汉军统帅岑彭审时度势，定下计谋。他多张疑兵，先派臧宫等人率领汉军从涪水上平曲，牵制延岑等蜀将;然后，他自己率领一支人马，顺江而下奔还江州，然后，再溯都江而上，忽然攻袭蜀将侯丹的军队。由于敌军无备，一举破之。

　　得胜后，岑彭西向，晨夜倍道兼行二千余里，一鼓作气攻拔武阳。然后，他派遣精骑进驰广都，一下子就抵达距离成都数十里的地方。

　　想想公孙述先前下令延岑等率蜀军主力屯于广汉，目的就是为了堵截岑彭的南路汉军。如今，岑彭大部汉军竟绕出延岑军后，一举逼近了自己的都城成都，公孙述大为震骇，他以杖击地，哀叹道：“是何神也!”

　　交战期间，为了延缓汉军攻势，公孙述及其属下还接连干了两件下三滥的事情，就是先后刺杀汉军统帅来歙和岑彭。二人虽死，汉军依旧势盛。

　　没多久，汉军南路军臧宫率领率五万汉军大败延岑，一战下来，蜀军被斩首加溺死者数万人，江水为之变色。

　　势如破竹，臧宫大军进抵绵竹，咄咄逼人。

　　事情发展到如此地步，绵竹肯定守不住了，于是，早先从陇右隗嚣处归奔公孙述的大将王元，不得已举城而降。

　　由于岑彭被刺杀，刘秀就派遣大司马吴汉接替岑彭，担任南路汉军统帅。吴汉思攻心切，很快在鱼涪津(今四川乐山)击败蜀将魏党和公孙永，兵围武阳;公孙述女婿史兴率五千兵马来助，也被吴汉所破。接着，乘胜凭锐，吴汉率领汉军攻占武阳。