公元581年，隋文帝登基，封李秀为越王，不久之后又改封李秀为蜀王，让李秀担任许多朝廷要职，有柱国、益州刺史、益州总管，都督二十四州诸军事等。第二年，后给李秀增加了两个官职。到了第三年，隋文帝又取消了他的所有官职。直到公元592年，杨秀才又重新得到官职，并且还被隋文帝派去蜀地镇守。
杨秀从小就很优秀，特别是在行军打仗方面尤其有天赋，他的性子属于容易暴躁的那一类，看不惯就是看不惯，不喜欢有人约束。隋文帝曾经多次和独孤皇后说到这个四儿子，说我还在世的时候他不敢有什么小动作，还可以保全他自己的性命，但是只要他的哥哥一继位，他马上就要谋反。到时候就不会有什么好下场。
杨秀在蜀地镇守，京城的兵部侍郎元衡奉皇命来蜀地出使，杨秀和元衡相识很多年了，他对元衡说，你回去的时候跟我父亲说说，给我多一点官职和手下吧。元衡回到京城后就把这段话告诉了隋文帝，隋文帝没有批准。后来西部边境的地方发生了战争，杨秀把自己的心腹万智光派到军中，担任杨武通的行军司马。可是隋文帝觉得这个万智光能力不够，不能胜任这个职位，就骂了杨秀一顿。从这件事上，隋文帝看出这个老四对权力的欲望太大了，于是就开始逐渐分散杨秀的官职和权力。
杨秀也感觉到了父亲在渐渐掏空他的权势，但是父亲是皇帝，他如今的形势也是大不如前，他既对自己的前途感到担忧，又为文帝的偏心产生妒忌，于是就放任自己，让自己沉迷于奢侈的生活。
这一个人想要变好很难，可若是想要变坏，那就十分容易了。杨秀就是这样。他放纵自己，贪图享乐，变得越来越没有样子。吃穿用度堪比天子，越过了礼制，就这么一直颓废过去。公元600年，太子杨勇设计被废，老二杨广成为了新的太子，颓废的杨秀表示他很不服气。凭什么我当时想要权力地位你们不给我，现在居然让那个阿谀奉承的杨广来做太子，他比我有能力吗？杨秀对杨广的不满表现的很明显，杨广害怕这个四弟将来会谋逆，阻碍自己的皇位，就和杨素一起，在隋文帝的耳边说杨秀的坏话，什么杨秀有谋反之心啊，你看他的马处的规模甚至都超过了太子，他不是想做皇帝是什么？
日子久了，隋文帝对杨秀的喜爱也日渐下降，不但不理睬杨秀，还专门派人去训斥杨秀。杨秀在朝堂上谢罪说，我认罪，是我的错。然后文帝就把他关押起来审问。有个官员就对文帝说，陛下，您的儿子已经不多了，杨勇被废，杨秀耿直，现在被关起来，恐怕他有没有自保的能力。文帝听了大怒，当即就说，快把杨秀拖出去斩首示众，我才能向百姓交代。
杨秀被关起来了，文帝派人彻查他，此时杨广和杨素等人，借机制作木偶，用铁针穿过木偶的胸口，在木偶上写上隋文帝和杨谅的名字，这就是有名的巫蛊之术。杨广将这个巫蛊之事嫁祸到杨秀的身上。宫里人对巫术本就十分忌讳，何况还是毒害文帝和杨谅，隋文帝对杨秀彻底失望，把杨秀废为庶民，软禁在内侍省，不允许他和妻子儿女相见。
