后，当场说了不少太子杨勇的坏话。独孤皇后随后赐予杨素大量金银，让他在皇帝面前说赞成废立太子的话。
太子杨勇知道了晋王杨广的阴谋后，既忧又惧，无计可施。便使人作巫蛊，在后院造室屋卑陋的庶人村，自己时常布衣草褥寝息其中，以求自保。但皇后已经下定了改换太子的决心，经常派人到东宫刺探情况，凡纤介小事，都被夸大其词，捏成罪状，向皇帝报告，使皇帝疏远太子。因此，杨勇的行为不但不能自保，反而给独孤皇后和杨素提供了更多被诋毁的口实。
杨广又令亲信私下贿赂东宫幸臣，将太子动静密告杨素。杨素更是配合皇后和杨广，到处收集太子的材料，对太子肆意诋毁。于是太子杨勇被内外渲诽，过失日闻。
开皇二十年(公元600年)十月，隋文帝惑于邪议，在独孤皇后的主张下，以太子“情溺宠爱，失于至理，仁素无闻，昵近小人。”的罪名，废其为庶人。一个月后，还是在独孤皇后的极力支持下，晋王杨广被立为太子。巧饰为“孝悌恭俭”，实则为“心狠手辣”的“两面三刀”阴谋家杨广虽然成功了。但随后给大隋王朝带来的却是与秦朝同样的经历，秦二世而亡，隋二世而亡。