以后，杨广天天和那帮文人一起进进出出，还尽日里礼佛论经，隋文帝知道了果然很高兴。前一段时间的压抑感觉渐渐退去。杨广可不是杨勇，虽说表面上淡泊世事，心里可从来没有松懈过。这时，从益州传来消息，益州总管蜀王杨秀，自长史元岩死后，杨秀日渐奢靡骄纵，造浑天仪，多捕山獠充当宦官，车马及穿的衣服，模仿帝王的标准。以前隋帝经常对独孤皇后说：“秀儿必定没有好下场，我活着的时候没什么事，以后传位给他的哥哥，他一定会反的。”大将军刘哙之讨伐西爨，隋文帝命令上开府仪同三司杨武通统兵相继相助。杨秀让他的男宠万智光为武通行军司马。隋文帝知道后很生气，谴责他，因此对群臣说：“破坏我们的法度，是子孙。就好像猛虎，什么都不怕，反而害怕藏在它毛皮里的小虫子的咬噬。”接着分散了杨秀的兵权。

　　这次杨勇被废，晋王杨广被立为太子，杨秀心里很不平衡，经常对左右说：“凭什么让他做太子？我哪里不他差了？”杨广担心杨秀终为后患，暗地里让杨素把杨秀在益州做的事都告诉隋文帝。隋文帝一听说果然采取了措施，仁寿二年（602年）征杨秀出兵。

　　杨秀接到命令，心里犹豫，想对使者称病婉言谢绝不去。总管司马源师知道了，连忙去拜见杨秀，对他进谏：“皇上征殿下回京，殿下无论是以儿子的身份，还是臣属的身份，都应当去京面圣。”

　　杨秀变了脸色说：“这是我的家事，何须你来干涉！”

　　源师流下眼泪苦劝：“我身为参府幕，怎敢不尽心辅助殿下！圣上有敕给蜀王殿下，现在已过去很长时间了，殿下还没有动身。平民百姓不了解蜀王殿下的心思，倘且传出很多非议，里里外外都感到怀疑和震惊。万一圣上发下急诏，派一个使臣使来核实，蜀王殿下用什么来自圆其说？愿蜀王殿下把这件事的后果考虑清楚！”杨秀不听。

　　隋帝见杨秀这样，更不放心，怕杨秀发起兵变，任命原州总管独子瓜楷为益州总管，派人急马到益州传达命令。瓜楷到了益州，杨秀仍然没有离开的意思。瓜楷对杨秀说：“上谕早就到了，请殿下上路吧。”杨秀脸色铁青，气不忿的安排下去，收拾妥当后上了路。瓜楷是个有心人，发现杨秀的神色有异，立刻传下命令让士兵严阵以待。杨秀行军四十多里，准备袭击瓜楷，探子回报说瓜楷的军队已经准备好了，没有漏洞。杨秀看这时攻过去估计占不到便宜只好作罢。