终不是姚崇的人，和姚崇的意见并不总是一致。
开元四年，公元716年秋，张九龄又以“封章直言，不协时宰”，招致了姚崇不满，这年秋天，他以秩满为辞，去官归养。
张九龄的官场之路，就此失败。
他失败的原因，在于他的耿直，始终坚守原则，不会圆滑，不会迎合姚崇。
张九龄回到岭南后，住了一年多时间。
他是不肯闲居的人，而是想为家乡办点实事。
他到岭南，便向朝廷状请开大庾岭路。
张九龄出入岭南，也走过这必经之路，对大庾岭梅关“人苦峻极”的险阻深有感受。
开元年间的唐王朝，经贞观以来近百年的励精图治，社会繁荣。而岭南以沿海之利，海外贸易交通有了很大发展，广州已成为中外海上交通门户的大商港。
在这种情况下，开凿梅关古道，改善南北交通显得非常迫切。
张九龄的建议很快得到朝廷批准，于是他自任开路主管，趁着农闲征集民夫，开始开凿工程。
我们要注意上面的字眼，他是自任，也就是说，完全公益，没有工资拿，做这样的事的人，只有两种人，一种是傻子，一种是圣人般的人。