后来不久，二当家的工作也出现状况，听说是因为没钱打点，想要竞选的位置被别人抢了，还得罪了别人。

二当家的妻子较为强势蛮横，在此之后，老妇偶尔路过他们的房间时，总能听到二夫人喝斥和争吵的声音。

即便是深夜，庄园内寂静无声，只有蚊虫蛙鸣时，偶尔也会听到一两句二夫人的声音，虽然听不清，但所有的仆人都会浮现出一个念头，二当家又挨训了。

二当家有两儿一女，但两个儿子都是性格懦弱，女儿继承了母亲的强势，出嫁后听说过得也不顺畅，时常回庄园娘家来抱怨，吐槽夫家的不是。

大当家的四个孩子中，有一个较为出色，接下了小镇的修桥工程，暂时为家族带来了经济来源。

在这种兴盛和衰败的转变中，庄园内的仆人年年裁员。在帕弥拉小姐15岁时，家主遗憾去世了。

心脏病犯了，送到医院晚了5分钟，死在了路上。帕弥拉小姐的父亲三当家赶回来时，晚了一天，连父亲下葬的最后一面都没见到。

葬礼是大当家举办的。葬礼刚结束不久，大当家选择分配家产，作为家里的长子，在没有遗嘱的情况下，他有资格顺位继承一切。

但在二当家跟两个外嫁女儿的争论下，最终对薄公堂，不知从何处掏出了一份遗嘱。

但遗嘱内容竟是将庄园送给了帕弥拉小姐。可惜三当家性子软，最终选择分家产，虽然庄园保留了，但庄园里值钱的财物，让大当家跟二当家，包括两个出嫁的女儿都搬运了不少，几乎搬空。

此后，整个庄园就只剩下三当家一家了。而当时庄园内的园丁全都被辞退，女佣也是，只留下当时身为女管家的老妇，以及另外一位总管家。

年仅16岁的帕弥拉小姐，选择经商。在帕弥拉小姐聪慧的头脑下，经商很快就取得成效，庄园内的收入很快就增长起来。