我们已无法追索，张岱是否早计划好要避开方国安与鲁王的朝廷，他本人也没有留下任何具体记述，得见他至绍兴西南百里隐居的三年，到底是何景况。此地山陵崎岖难行，多是孤村，蓊郁山林，间或几座寺庙错落。张岱在一首诗里提过，顺治三年，他隐居山寺几个月，仅带一子、一仆为伴，隐姓埋名，又把心力放在撰写明史上头。经过月余，因身份曝光，被迫避他寺再度藏身，与和尚们同住了一段时间。张岱提到他饥肠辘辘，无米可炊，甚至没有柴薪举火，这时他才恍然大悟，中国自古以来流传忠心耿耿的隐士，宁可饿死山中，也不愿侍奉二主的故事，与事实差距甚远。张岱如今体悟到，这些品德崇隆之士，真的是活活饿死的。

张岱不愿做满人打扮，薙头蓄发，自知模样十分吓人：“披发入山，駴駴为野人”，张岱形容自己看起来就“如毒药猛兽”。他时常兴起自杀的想法，不过撰写明史大业未竟，又使他打消了却残生的念头。

顺治三年，年届四十九岁的张岱，颠沛流离，昔日生活的点点滴滴萦绕脑海，回忆如电袭来。张岱提到，夜气方回，鸡鸣枕上，拂晓时分，往事总入梦。值此之时，张岱告诉我们，“繁华靡丽，过眼皆空”。记下昔日回忆本是无心插柳，没想到得以为困顿生活暂时解忧：“饥饿之余，好弄笔墨。”对张岱而言，夜间灯火星耀，琴声悠扬，腐臭难闻的牲祭，娼妓若有所思的静默，浪掷千金于古玩，母亲喃喃的祝祷，年轻伶人的粉墨登场，舟船、轿舆之旅，与知交好友的谈诗论艺，连同无数的片刻，全都值得说、值得记。不过，张岱在《梦忆》一书的序文中强调，这些篇章不落俗套，自成一格：“不次岁月，异年谱也；不分门类，别志林也。偶拈一则，如游旧径，如见故人。”这年岁暮，张岱发觉他就这样写了一百二十余篇的陈年旧事。回忆如梦片断，虽然张岱有意不写长，文章篇幅从一段至多两页不等，但编成小书也绰绰有余了