独孤后虽欲将晋王立为太子，但杨坚因一时太子杨勇没有犯大的过错，心中虽欲立晋王，却不好实行。这时晋王杨广调镇扬州，不到半年便表请入觐。杨广回朝后，表现得慎言庄容，端肃安详。他对于一般朝臣格外谦和，恭而有礼。宫廷内外，都同声说他的好。

　　到了辞行还镇的那天，杨广入宫别母，见了独孤皇后，他依在独孤后的膝下，泣诉道：“臣儿生性愚蠢，向来不知忌讳，时常怀念双亲，所以未及二旬，递即上表请朝。原思一见父皇与母后，藉聆慈训，哪知触忌了长兄。”

　　独孤后听到杨广提及太子杨勇，便问：“他敢怎么样?”杨广惶恐说：“他竟疑忌臣儿，谓儿觊觎名器，意欲加害，臣儿因此惶恐。臣儿远列外藩，东宫日侍左右，谗惑见加，皇父容或难辨。一旦赐臣尺帛或给杯鸩，臣儿实不知身死何所。恐从此一别，便不能再见慈颜了。”晋王说着便涕泪纵横，呜咽不止。

　　独孤后愤然道：“我为他娶元氏女，竟不以夫妇礼待之，元氏女向来身体健全，竟会一旦暴亡，他却毫不悲伤，反与妖姬云氏淫乐。我也疑惑元氏被他所害，只是暂时容忍。现在他却越发狂妄!竟想加害你，我活着他已是如此，往后真不堪设想了。”独孤后说着已泫然泣下。

　　杨广佯作劝慰：“臣儿自是不肖，未能感化长兄，反使母后因此伤感，岂不是增臣儿罪戾!”独孤后安慰一番，叫他安心回去，非密诏不可进京;不得轻过东宫。晋王心中暗喜，从此独孤后废杨勇的心肠更坚决了。

　　积毁成山，三人成虎。杨素与独孤后异口同声地说太子失德，内外交谗，杨坚便动了废立的主意。宫廷内外，都知了废立的消息，传到东宫，杨勇才开始着慌。他引入巫觋，做了种种厌禳术。这个消息，又被人探听了去，报告了独孤皇后，当晚杨坚也知道了，命杨素到东宫探看虚实。

　　杨素本是杨广的人，他到了东宫，杨勇慌忙更换好了衣冠。哪知杨素故意东看一回花草，西看一回亭台，只是挨延不去。

   杨勇等候了多时，不禁着恼起来，待到杨素徐行入见，杨勇怒形于色说：“公姗姗来迟，究属何意?圣上虽欲将我废立，此时究竟尚未实行，你莫自恃功高，便不把我放在眼里。”杨素佯作失惊道：“老臣该死，进了园中，一因年迈，脚步迟了些;二因贪看了园中景色，因此有劳殿下久候。还念老朽可怜，恕罪一遭。”

　　杨勇冷笑：“说得倒好，你来此做什么?”杨素又假意微叹说：“圣上不知听信了谁的谗言，意欲废立东宫。老臣素知殿下，仁德无亏，今日特来安慰殿下的。”杨勇听了，以为杨素真心好意，不免言语之中，露出怨愤。

   杨素听在耳中，回到宫里，见了杨坚，便一一说了出来。杨坚大怒，便在成德殿上，召集了百官宣诏废杨勇。过了数日，即立晋王杨广为太子。