高颎真正彻底失去了杨坚的信任，是他辅佐汉王杨谅的时候。
杨坚派人攻打突厥，高颎进谏，杨坚不从。后来，出师无功而返。
独孤皇后对杨坚说：“高颎当初就不赞成去攻打，是陛下坚持要他出兵，所以，我当然知道这一次出征无功了！”
她这话的意思很明显，那就是高颎根本就不肯出尽力。
杨坚又以汉王杨谅年少，当下专委军事于高颎。
高颎以任寄隆重，阻止了杨谅去做很多事。
杨谅心里很恨他，于是，对他的母亲独孤皇后哭着说：“儿子有幸，没有被高颎所杀！”
杨坚听了，觉得高颎实在太过分了，心里对他是“弥不平。”
不久，杨坚去秦王杨俊的府第，召高颎侍宴。
高颎去到之后，终于见到了杨坚，当下悲不自胜，不由哭了起来。
独孤皇后也为之哭泣。
杨坚对高颎说：“我没有辜负了你，而是你自己辜负了自己！”说着，对侍臣说：“我于高颎，胜过儿子，虽或不见，常似目前。自从疏远高颎后，瞑然忘了，好像从来就没有高颎这个人一样。所以，人臣不可以要挟君主，自以为天下第一！”
不久，颎国令上书皇帝，说高颎的儿子对高颎说“司马懿最初也是托疾不朝，后来拥有天下。如今父亲你的遭遇和他一样，谁知道就不是福气！”
杨坚看了大怒，把高颎抓了起来，囚于内史省审问。
通过审问之后，审查出高颎结交沙门真觉，他曾对高颎说：“明年国有大丧。”另外，尼令晖也对高颎说：“开皇十七、十八年，皇帝有大厄，十九年不可过！”
杨坚听了，顿时怒不可遏，对群臣说：“帝王岂可力求！孔子以大圣之才，犹不得天下。高颎与子言，自比晋帝，此何心乎！”
有司请斩高颎。
杨坚念在他的功劳和旧情，说：“去年杀虞庆则，如今又斩王世积，如果还杀高颎，天下人将说我是什么皇帝！”于是下旨，罢免了高颎所有的管职，废为百姓。
这样一来，高颎等于被杨广害死，但和害死没有什么区别，因为，他在杨坚那里再也说不上话了。
杨广接下来要做的，就是让母后独孤皇后对太子杨勇不满。
独孤皇后和高颎不一样，高颎可以利用杨素和独孤皇后去搞他，自己不用出面，但是，独孤皇后必须要自己出面。
他要独孤皇后对杨勇不满，除了自己亲自出面去害杨勇外，还有，必须杨勇自己害自己。
一个人，自己会害自己吗？
答案是肯定的！
我们人，实际上都是自己先害自己，别人才有机会害你！
杨勇要是自己做人做好来，杨广想夺他太子的位置，根本没可能！