但久居关外的吴兆骞并不知道这些。他久戍思归，也渴望能够像方家人一样用钱赎归，但一来赎归要等机会，二来他被流放前，家产已经全被抄没，彻底破产，要筹到巨金，实在是难事。幸好到了康熙二年（1663），他的妻子葛采真和妹妹吴文柔从苏州千里迢迢赶到关外探亲，带来极大的安慰。葛采真来时“携来二三婢仆，并小有资斧”，吴兆骞的生活这才稍有改善。次年，葛采真生下一子，取名吴桭臣。有了自己的孩子后，吴兆骞得到了启示，他开始了授徒生涯，专教那些流人子弟读书写字，并与后来发配到宁古塔的张缙彦等人结成“七子之会”，吟诗作对，互相唱和，穷困愁苦的生活“亦饶有佳况”。
［顺治十七年（1660），工部侍郎张缙彦刊刻了《无声戏》一书，其中“不死英雄”一句，被清廷认为是煽惑人心、交结党类。张缙彦由此被革职，籍没家产，流徙宁古塔。］
吴兆骞在宁古塔的名气越来越大，不少当地少数民族子弟也赶来向他求学。当地人懂得了读书的好处后，开始以文人为贵，对流放的监生、生员统称为“官人”；见到流人，凡骑马者必下马，行路的则滚道边，不荷戈的老人则匐伏在地，等流人过去才起身行走，表现出相当的尊重。