模川桥的途中不小心落马受伤，后来终于一病不起。

根据史书上的记载，当时的状况如下：

右大将源赖朝因和佛法结缘而行，归途行经八地

原，却见义经行家之冤魂。至稻村崎，安德天皇圣灵显

现。源赖朝见此，忽而丧失神智，自马上跌落。

之后源赖朝虽然经各方良医尽力医治，却始终不见任何起色，终于在翌年正月十三日逝世。

不论是涵义经的冤魂，还是安德天皇的圣灵，一似乎都只是史学家们的看法；不过民间还有另一种传说，声称源赖朝是被他的妻子——政子阴谋害死的。

据说当时源赖朝另结新欢，常瞒着妻子微服探访那位女子。心怀怨恨的政子因此利用原赖朝坠马受伤的机会，悄悄害死了他。

虽然如今已无法证实这种说法的真伪，但是从传说中政子的性格来看。也不是没有这种可能。

至于当时传闻中与源赖朝私下往来的女子，据说就是大道寺家的祖先。

大道寺家原是住在伊豆山的名门望族，他们的女儿——多衣最初并不知道对方是源赖朝，以为源赖朝只是镰仓有名的大将，因而和他私订终身。

后来她知道自己交往的男人是右大将源赖朝后，不禁感到相当震惊。因为大家都说源赖朝的妻子是个嫉妒心非常重的女子，凡是和源赖朝发生关系的女子，最后都不得善终。

当时多衣已经有孕在身，所以她更加担心自己往后会惨遭政子的报复。

就在她整日提心吊胆的时候，源赖朝突然暴毙，而且他的敌人似乎准备趁机攻打过来，大道寺一族只好赶紧护送多农经海路躲避敌军。

后来大道寺一族来到月琴岛，也就是当时的“海上之岛”。

多次在这座岛上顺利产下一名女婴，名叫登茂。这也是现在的大道寺家为什么自称是源赖朝后裔的由来