高颎真正彻底失去了杨坚的信任，是他辅佐汉王杨谅的时候。
杨坚派人攻打突厥，高颎进谏，杨坚不从。后来，出师无功而返。
独孤皇后对杨坚说：“高颎当初就不赞成去攻打，是陛下坚持要他出兵，所以，我当然知道这一次出征无功了！”
她这话的意思很明显，那就是高颎根本就不肯出尽力。
杨坚又以汉王杨谅年少，当下专委军事于高颎。
高颎以任寄隆重，阻止了杨谅去做很多事。
杨谅心里很恨他，于是，对他的母亲独孤皇后哭着说：“儿子有幸，没有被高颎所杀！”
杨坚听了，觉得高颎实在太过分了，心里对他是“弥不平。”
不久，杨坚去秦王杨俊的府第，召高颎侍宴。
高颎去到之后，终于见到了杨坚，当下悲不自胜，不由哭了起来。
独孤皇后也为之哭泣。
杨坚对高颎说：“我没有辜负了你，而是你自己辜负了自己！”说着，对侍臣说：“我于高颎，胜过儿子，虽或不见，常似目前。自从疏远高颎后，瞑然忘了，好像从来就没有高颎这个人一样。所以，人臣不可以要挟君主，自以为天下第一！”