虽然广东兴办的黄埔军校成为了国内一时热点，不过众说云云，难免不会有一些闲言碎语。广西刘显世、上海陈其美都在报纸上公开发表批评，指责广东方面在革命尚未成功之际，浪费公帑做一些无谓之举，引得革命军事人才纷纷出走南下至广州投考军校，何其可恨！
对于这一类的批评，吴绍霆全部置之不理，在他眼里这些无谓之人的动作才是无谓之举。
四月中旬的一天，廖仲恺派汪精卫来到东校场军部大院。
如今的军部文政人员增加了一倍，这些新增的人员大部分都是武备学堂、陆军中学堂撤销之后的文职军士，也有一部分是最近两个月新招募的文员。军部的工作量日益增大，两个军校的筹备工作几乎占了大半的人力资源。为了保证军部的军事与教政互不干涉，降低军事机密外泄的可能性，吴绍霆还特意扩建了军部大院。
在大院扩建的过程中，吴绍霆主动让出大院交给文职人员办公，他则带领一众军部和师部的军官到兵营驻扎。
新建军部大院分南院和北院，南院是旧院，届时军部和师部移驻北院，南院则由文政部门办公。虽然军部目前的职能很复杂，不过吴绍霆没有打算把军部彻底分割成为文武两个部门，依然保持着