始终十分温和，不给任何可能看见这一幕的人有借口说谢家仗势欺人。谢李氏却渐渐地由哭求到怒骂了，在那儿怒责谢家不近人情，富贵骄人，不把族人放在眼里，又哭女儿命苦，成了钟湘娘家侄儿的小妾，还一命呜呼了。
谢府的管家见好言相劝不行，不等她再骂出更过分的话，便示意两个婆子上前，动作十分迅速地把赖着门前哭闹不走的谢李氏，堵了嘴架起来就把她往车里一塞。然后不等谢安远父子反应过来，便采用了一样的办法，把他们塞上了车，叫人送回南城。
送回南城后，管事又语气温和地告诫他们：别再到谢家找麻烦，不然就把他们远远送走。
这样的威胁，谢安远他们自然不放在心上，且他们的日子也实在维持不下去了，那里能死心，后来又来谢家闹了几次，最后便叫钟湘塞到夷安案中，作为夷安造反一案的漏网之鱼和其他后来定罪的人一道被流放了。毕竟证据也是现成的，他们一家可住在夷安的小别庄里好长一段时日，还是冯嫣安排了去住的，说和冯家没关系，叫人相信也难。
作为谋逆案中流放的罪囚，谢安远一家与其他通行者一样，都被看得死死的，一直被押解到边疆，再没机会能脱身。没人打点，也没有相熟的人，边疆上民风又