隋文帝一生用过两个年号，一个是开皇，一个是仁寿。开皇的意思是开启一代皇家基业，反映出一种创业者激情四射的心态。而仁寿则是希望能够享国长久，反映出一种守成者的安闲。先创业再守成，这本来应该是一种很理想的境界，但实际上非常遗憾。隋文帝仁寿年间，生活没有像他希望的那样安逸，反而日益充满了火药味和紧张感。这是为什么呢？
隋文帝六十岁上下时，先后丧了妻、子，丧子，是自己干掉了三个儿子。独孤皇后五十九岁时就正常死亡。影响极大，产生两方面影响：一是让隋文帝自由了，终于可以自由生活了，两美女出现了，一是宣华夫人陈氏，二是蔡氏。他节俭，独孤皇后也是如此。两人同心同德，特别晚年，疏远大臣，与儿子关系也紧张，独孤皇后是唯一依赖的知己。现在没有了，内心也塌了。两人年纪相差无几。现在没了这个陪伴，隋文帝茫然若失，生活上表现得开始纵欲，政治上更加多疑与善变。
隋文帝晚年，独孤皇后因病去世，独孤皇后的去世，让隋文帝失去了精神支柱，也让他在政治上变得更加多疑和猜忌。作为一国之君，他的变化必然投射在政治上，对整个国家的政局产生影响。那么，这种影响会从哪里表现出来呢？
马上有两人处境尴尬，一是杨素，一是太子杨广。杨素，独孤的葬礼是他一手经办的，隋文帝还特地奖励他，“杨素经营葬事，勤求吉地，论素此心，事极诚孝，岂与夫平戎定寇，比其功业，可别封一子义康公，邑万户并赐田三千顷，绢万缎米万石，金珠绫锦称是。”到处找风水宝地，功劳比平戎定寇还大，决定封他一个儿子为义康公，给一万户的食邑。隋文帝赏赐这么多，说明隋文帝爱屋及乌，把对太太的感情寄托在杨素身上，也说明杨素确实办得好。这事也是杨素在得宠的巅峰，不久在隋文帝心中的地位就下降了。梁毗不久就弹劾他了。
“臣闻臣无有作威福，臣之作威福，其害乎而家凶乎而国，窃见左仆射赵国公素，幸遇愈重，权势日隆，缙绅之徒，属其视听，忤意者严，霜夏零。阿旨者膏雨冬澍，荣枯由其唇吻，废兴候其指麾，伏愿揆鉴古今，量为外置，俾洪基永固，率土幸甚，轻犯天颜，伏听斧锧。”当年废掉太子时，我们都觉得是令人震惊的事，唯独他表现得扬眉吐气的样子，为什么？是盼着国家有事，好抬升他自己的地位，这难道是忠诚的臣子的表现吗？说完，隋文帝傻在那儿，他回想一下，还真是如此。杨勇、杨秀事件，杨素都是推波助澜，到底是谁在利用谁呀？君臣关系是颠倒的。再想想梁毗的观点就可以接受了。而且与内心极端吻合的，他怎么处置梁毗？放了，对杨素就是渐疏之，慢慢猜忌起来了。“仆射国之宰辅，不可躬亲细务，但三五日一度向省，评论大事。”最重要的大臣，不用天天办理小事了，三五天再上一次班，实际是夺权了。等于剥夺了上班的权力。真正能管的事就少了。这是收权。
梁毗的弹劾让隋文帝对杨素警觉起来，开始逐步削弱他的权力。但是，权力本身是固定存在的，事情也总是要有人做的，要想保证国家的正常运作，还要把从杨素手里收回的权力再分配给别人。那么现在隋文帝找谁做新的依靠对象呢？
到晚年，谁都不信任，隋文帝把目光看到女婿身上了。他看中了最小女儿的女婿柳述，三大优点：一是出身于河东柳氏，在朝中影响不错;二是他年轻，三十多，没功劳没业绩，会听话，唯马首是瞻;三是娶的是隋文帝喜欢的公主兰陵公主。兰陵公主小名阿五，本是容易得宠爱的，兰陵公主给父母争气，“美姿仪，性婉顺，好读书”。既然喜欢她，女婿也一块喜欢上了。
这时，就提拔他了。让柳述当吏部尚书、兵部尚书，在朝中有这样高的权力，成了宫廷与朝廷间的桥梁。这对杨素意味着不利。与杨素都有过结，杨素逼死了兰陵公主前夫王奉孝的父亲王谊。当时官至一品官，没多久，王奉孝就去世，当时她不过十三岁，做了寡妇。王谊也不忍心，上书请不要守孝三年，再嫁了。没想到不久杨素就弹劾他，说王谊这是败坏道德。隋文帝当时看到这样的弹劾，就批评了王谊，就心灰，就宅在家，发牢骚，还请人算命，是重臣是外戚，这就触犯了皇帝的大忌，隋文帝赐死他了。
兰陵公主应该对杨素就没有好印象了。柳述与杨素间，杨素奚落过柳述的爸爸，他是坚守道德原则的人，在官场不得志，外放做官，而杨素隋建立后就在中央为官，杨素就在柳家人面前沾沾自喜，一次隋文帝赐宴，几人见面，杨素说，“二柳俱摧，孤杨独耸”，你们都完蛋了，我就钻天上去了，这是俏皮话，但伤人心，柳父却一言不发，现在柳述当权，二人与杨素都有过结，杨素就不好过了。柳述就喜欢当众折辱杨素。两人是上下级关系，柳述有任何决策，都应该有杨素批复，柳述偏偏不买杨素的账。柳述坚决不改。并要求转告，自己不肯改。柳述这样对他，他也是要气死，但是背后有隋文帝撑腰，也没办法。一收一放，就让杨素气焰低了，人蔫了。
独孤皇后去世，杨素受猜忌，这两重因素加起来对于太子杨广的打击可太大了，让杨广的势力低落了不少。而政治上的实力比拼，往往都是此消彼涨的关系，杨广那边势力下降了，马上有一个人的势力抬头了，他是谁呢？
杨广能当上太子，全赖独孤皇后与杨素所赐，现在杨广受的打击就太大了。杨广的太子基业本不稳定，需要杨素与独孤皇后的支持。现在，前太子杨勇势力有所抬头：杨勇为自己喊冤，当时杨广看管他，独孤皇后一死，他整天要求见父亲。杨广肯定不干，一次他爬到东宫大树上，对着隋文帝大叫，希望引起隋文帝注意。隋文帝真听见了，看到杨勇在树上，杨素正好在身边，问杨勇喊什么。杨素赶紧就说，他疯了，整天喊叫。隋文帝摇头叹气就过去了。
但是杨广着实担心一把。更严加看管。二是有人替杨勇和高喊冤，裴素，希望高重新回来为国效力。说杨勇与杨秀应该给他们自新的道路，不能永远为庶人，应该封个小国，还可以再提拔他。如果高刚刚被废时，谁说一定砍头，现在这样说，隋文帝反而感慨说，这是至诚的事。没杀还招来谈话。这又吓坏了杨广了。第三个表现，是隋文帝的心腹柳述与杨勇的关系铁与杨广的关系不好。还是因为婚姻的问题，当时，选中了两个候选人，另一个是杨广的小舅子萧妃的弟弟萧玚。隋文帝广泛征求意见。
杨广当时就希望嫁给自己的小舅子，隋文帝就征求当年给隋文帝预言过当皇帝的韦鼎的意见。隋文帝信任他，他说，“玚当封侯，而无贵妻之相，述亦通显，而守位不终。”说他可以封侯，面相上没有高贵妻子，韦鼎倾向于柳述，柳述只是说他官位不到头。隋文帝想我让他到头不就到头了？柳述对杨广没好印象。隋文帝的政治路线动荡起来，朝中出现了变数，似乎要重新洗牌，让杨广紧张。他偷偷到一个大臣术士萧吉，“公前称我当为太子，竟有其验，终不忘也。今卜山陵，务令我早立，我立之后，当以富贵相报。”我信任您，希望你替我留心一下，让我早点接班。萧吉回复，四年后，我保证让你接班。