龄由于是张说的人，也受牵连，被改任为太常少卿。
六月，他奉命祭南岳及南海，就便归省。是年秋，张九龄回京，仍被指为亲附张说，调任外官，出为冀州刺史。
张九龄看到形势不妙，当下以老母不欲从之任所为由，表请罢官。
这是很聪明的做法，形势不利，就要懂得潜伏，懂得夹起尾巴做人。
翌年三月，张九龄被改任洪州都督，算是关照他，因为洪州在江西，与韶关邻近，让他可以照顾家人。
张九龄在洪州任上，写了《在郡怀秋》诗二首，表达了时不能用，忧郁思归的心情，其一为：
秋风入前林，萧瑟鸣高枝。
寂寞游子思，寤叹何人知。
臣成名不立，志存岁已驰。
五十而无闻，古人深所疵。
平生去外饰，直道如不羁。
未得操割效，忽复寒暑移。
物情自古然，身退毁亦随。
悠悠沧江渚，望望白云涯。
路下霜且降，泽中草离披。
兰艾若不分，安用馨香为！
通过这首诗，可以看出他内心的郁郁，一方面，他不甘心五十而无闻，想着为国