杨家子弟在杨素作古之际，无理取闹，利用杨素的尸体和舆论向皇帝索要***和大权，后来被皇帝派去的杨集和高颎申饬了一番，所有人都意识到了问题的严重性，从此人心惶惶、后怕不己，但是世上没有后悔药。他们一直担心皇帝秋后算账，没过一天安心的日子。
杨玄感作为家主，并没有具备因势而变、应对危机的才智和经验，他认为古往今来的皇帝对于身怀从龙之功的人物都是大势封赏，对于曾经反抗他的人物杀鸡儆猴，绝不手软。而杨广是一个极为隐忍的人，也极为精明，当初杨广把仁寿宫变定义为左右卫内讧、放过了协助杨勇发动夺权政变的关陇贵族，从而成功的稳住了局势。
也正是因为杨广忍这一手，导致失败了的关陇贵族人心各异，各个家族和各个派系在「要不要继续铤而走险」这个问题上，出现了巨大分歧，最后一哄而散，使得杨广有喘息之机。要是杨广当时血腥清算，关陇贵族势必在关中起兵响应杨谅，其结果可想而知。
但是现在呢？杨广对关陇贵族步步紧逼，通过军改、清除散官等方式，一步步的夺走了关陇贵族手中的大权。正是有鉴于此，杨玄感、杨玄纵、杨玄奖、杨万项、杨民行兄弟几个，就像得了臆症一般，时时刻刻担心杨广要洗清他们、要拿他们开刀。
尤其是杨约被罢免内史令、以及杨玄感时不时被皇帝敲打以后，家族上下更是惶恐不安、越想越怕、越怕越想……整个家族就像神经质了一般的，开始神神叨叨的。
全家上下之所以如此神神叨叨：一是他们德不配位，杨家除了杨文思、杨约之外，几乎每个人的爵位、勋官、文武散官都是杨素打拼出来的，本身并没有多少应对危机的能力，比如说杨玄感作为长子，直接继承父亲楚国公之爵，杨玄感的弟弟们的爵位，则是因为杨素封无可封，于是杨坚和杨广把杨素之功册封给了他的儿子；与这些人有没有能力、能力强大与否毫无关系。
杨素在世之时，杨家子弟心安理得的享受着父亲打拼出来的一切尊荣、荣耀；当杨素去世以后，他们认为别人必须、也只能像以前那样尊敬他们、皇帝也必须像以前那样重视他们，根本就没有想过自己有没有能力。当大变到来之时，没有应对的能力和心里素质。
二是那些认为他们德不配位的精明的人，早已瞅上了民部尚书、礼部尚书等要职，为了把杨家搞下去，便在暗中推波助澜。
三是他们站得太高、下不来了，自以为每个人都欠他们，整体就像是杨昭杨集所说那般：杨家上
…。。