他等来等去，终于等来的机会，那就是一向谨慎的高颎，终于说错了话！
杨坚因为宠幸的宫女被皇后杀了，由此大怒，单骑从苑中奔出，不由径路，入山谷间二十余里。
高颎和杨素等忙追了上去，拦住马，苦苦进谏。
杨坚叹息说：“我贵为天子，不得自由！”
这时，高颎为了安慰皇帝，说了一句得罪皇后的话：“陛下岂以一妇人而轻天下！”
——皇上，你怎么能因为皇后这么一个妇人而放弃天下呢！
杨坚听了，“意少解”，心里好受了一点，然后，驻马良久，半夜才回到皇宫。
独孤皇后对待高颎本来非常好的，因为他是父亲独孤信留下来的人，是她自己人，所以，他经常去高颎的家。
可是，如今对高颎有意见了，因为他在杨坚面前说自己就是一妇人而已！
她对高颎，开始疏远了起来，心里也有了恨意。
一个人，对另一个人有了恨意，那么，对他只会越看越不顺眼，觉得他什么都做不对。
独孤皇后对高颎看不顺眼后，在皇帝那里，也开始说起了高颎的坏话。
杨坚也慢慢对高颎不满意了起来。
有一次，杨坚下令选东宫卫士，也就是太子的卫士，进入上台守卫。
高颎马上奏称：“如果把强壮的都选走，恐怕东宫的宿卫太差了！”
杨坚听了，脸色马上变了，说：“我有时出入，宿卫须要勇毅的。太子毓德东宫，左右何必须要壮士！这是极错的做法！”
此时的杨坚，已经不给高颎面子了！
高颎的老婆死了，独孤皇后对杨坚说：“高仆射年纪大了，而他又死夫人，陛下怎能不为他再娶一个？”
杨坚便把皇后的话告诉了高颎。
高颎也知道和皇后关系不好，她要娶个妾给自己，肯定是她的人，当下流涕婉谢说：“臣今已老，退朝，唯斋居读佛经而已。虽陛下垂哀之深，至于纳室，非臣所愿。”
杨坚听了，便没有赐妾给他。
不久，高颎和他的爱妾，生了个男孩。
杨坚听了之后，很高兴。
独孤皇后却很不高兴，杨坚问她缘故。
独孤皇后说：“陛下还能再信任高颎吗？起先，陛下想要为高颎娶妾，而高颎却心存爱妾，面欺陛下。如今他今他的欺诈已见，怎能再信任他！”
杨坚听了，想起高颎说的话，说什么老婆死了，自己只有斋居读佛经而已，如今连儿子都生出来了！真是岂有此理！哪里是什么斋居读佛经，分明是和爱妾挑灯夜奋战！
杨坚由此疏远高颎。
杨广铲除高颎的计划，开始要实现了！