辛弃疾看到赵昚是个想着要收复失地的有为之主，当下上疏说：“军政之弊，在于统兵将领不能长期任职，士兵被差出或私自占有用于役使，几乎没停止过。士卒则以优闲自得，躲在大营里为利，他们奔走于权势之家，苟且偷生，所以军队中教阅废弛，逃亡者不追究，冒名顶替者不查问。平时奸民们毫无忌惮，遇有战事士卒不堪一击。甚至调大军，从千里之外来讨伐，还没开仗，则军威已挫，辎重也受损失，为害不小。希望照广东摧锋、荆南神劲、福建左翼军的样子，另建一军，以湖南飞虎为军名，只隶属三牙、枢密院，专由帅臣节制调动，这样，可使夷獠知我军武威，而望风慑服。”
赵昚看了，下诏命辛弃疾筹建飞虎军。
辛弃疾于是测量马殷的营垒故基，在那里盖起砦栅，招步军二千人，马军五百人，侍从在外，战马铁甲齐备。先用五万缗钱在广西买五百匹马，诏令广西安抚司每年顺便买三十匹。当时，枢密院有人不喜欢如此，多次从中阻挠，辛弃疾却做得更尽力，终于没半途而废。
建军的费用达巨万，辛弃疾善于筹划，每事都很快办妥。
谏官弹劾他是在聚敛钱财，赵昚听了，降下御前金字牌，让他立即停建。
辛弃疾