与你协力，乘间往取三郡。但此三郡守将，俱系劲敌，千万小心为要！”大海顿首拜受。元璋又嘱咐常遇春数语，令与胡大海协同行事，乃即日起程，率军返应天。
元璋去后，常遇春即进攻衢州，用吕公车、仙人桥、长木梯、懒龙爪等攻具，拥至城下，高与城齐。又于大西门城下潜穴地道，高下并攻。守将宋伯颜不花，煞是厉害，束苇灌油，烧吕公车，用长斧砍木梯，架千斤秤钩懒龙爪，并筑夹城防穴道，井井有条，毫不慌忙。遇春屡攻不克，乃用声东击西的法子，明攻北门，潜袭南门。宋伯颜不花未及防备，竟被突入南门瓮城中，毁坏守具，合城惊惶。院判张斌度不能支，遣使约降，夜出小西门迎大军入城，守兵尽溃。宋伯颜不花逃避不及，被常遇春活擒而归。遇春还宁越，胡大海留遇春驻守，自约耿再成攻处州。想因遇春得衢，故亦不甘坐守。再成曾出兵缙云，倚黄龙山为根据，立栅屯兵，借遏敌冲。元参政石抹宜孙，自驻处州，另遣将分守要塞，备御再成。诸将皆怠玩无斗志。胡深时守龙泉，闻胡、耿合兵来攻，料知守地难保，竟弃军来降。无非为德济吓慌。大海问他处州详情，深言兵弱易攻，遂出师樊岭，与再成会，夹击桃花岭、葛渡等寨，应手而下，进薄处州城。宜孙出战败绩，走闽中。