不得——钟家实在拿不出更多东西来了——便派族弟孔蒉率兵来攻。钟声就领着几百个庄客抵敌，很快便败下阵来，加上向荀氏求取增援，却总不见援兵赶到。当日晚间，他召聚众人，说很明显的，咱们守不住啦，已经死伤六十多人了，明日羯贼再来进攻，壁垒必破，人无幸理。只有趁着黑夜，咱们赶紧逃亡为好。

于是就带着残余的一千多人——半数是老弱妇孺——落荒而逃。许昌在南，他们只好往北跑，然后为避追兵，被迫转道向西，直至进入霍阳山区，才勉强安顿下来。

这一千多人，就跟同时代很多人那样——比方说郗鉴——躲入山沟，自辟田土，劳作为生。钟声本人也扛着锄头下地，那王氏兄弟自然不好意思再跟着吃白饭了。只可惜他们一无所长，啥都不会干，好不容易经过协调，让他们帮忙放牧几十只山羊，外加捡拾羊粪，算是个不需要太多技术的轻省活儿。

王聿一开始还拿架子，不肯干，却当不起王卓先脱卸了长衣，把粪筐扛上肩，把牧羊鞭持在手中——哥哥都去劳作了，那你做兄弟的能不干吗？就这样，王氏兄弟等若婢仆，跟着钟氏孑遗饥一顿、饱一顿地熬过了漫长的岁月……

直到祖逖北伐，挥师进入河南，数场大战，终于站稳了脚跟。霍阳山中消息闭塞，要隔了好几个月，钟氏方才听得消息，钟声赶紧派人去长社探查、联络得实，这才拖家带口地弃了山中基业，返回老家——反正田契我都带着呢，既然还是晋人当政，我钟家的田土总该归还，那可比山里的田要肥多啦。

等到收回旧业，重新安顿下来，钟声便即撺掇王氏兄弟，说我是平民，跟贵人们不大搭得上话，你们可都是公侯显贵，何不前往洛阳去求见祖将军，谋个一官半职啊？言下之意，过去我收留你们，让你们活命，如今是你们回报我的时候啦——带挈一下呗。