当了短短两个月的皇帝，李显便被废黜，先后被在均州(今湖北省丹江口市)、房州(今湖北省房县)长达十四年之久。

　　在这十四年生涯中，李显的身边只有妃子韦氏相伴，两人相依为命，艰难度日。这个韦氏在李显当太子的时候被立为太子妃，中宗即位的次年，加封皇后。在李显被废黜期间，韦氏始终与他患难与共，为他排忧解烦，经常鼓励他想开一点，人生总是祸福相依，否极泰来，要耐心等待命运的转机。对此，李显非常感动，曾经对韦氏许诺：“有朝一日我要能重登皇位，一定帮你实现一切愿望。”

　　没想到，他真的等到了这一天，在经历了无数担惊受怕的夜晚之后，李显又迎来了新的黎明。按照以往的皇位继承制度，一般都是嫡长子继承皇位，以保证皇位始终在一家一姓中传递。但是武则天是特例，如果让儿子即位，虽然是一家，却不是一姓。

　　如果让侄儿即位，虽然是一姓，却不是一家。

　　面对这个棘手的问题，素来果断的武则天一时也拿不定主意。

　　在调查了大臣的意向之后，加上契丹、先后打出匡复李唐的旗号反周，武家子弟又不堪大任，武则天还是决心将已经被废为庐陵王的李显立为太子，准备还天下给李氏。