享保17年（1732）に成立した妻沼聖天山の縁起である「歓喜院本聖天宮縁起」には、斎藤五の子が弥藤五を名乗りその地を治めたとされる。

斎藤五は、平安時代末期の武将・斎藤実盛の子どもで、弟の斎藤六とともに『平家物語』等で平氏最後の嫡子とされる平六代に最後まで仕えた人物として描かれている。五、六は、五郎、六郎の略称であろう。『平家物語』等の流布とともに、父の実盛とともに全国的に知られるようになり、各地にゆかりの寺院や史跡が数多く建てられている。弥藤吾にある実盛塚は、父実盛の遺物を埋納するために、斎藤五・六兄弟が築いたとの伝承が残る。

「弥藤五」の名称は、16世紀末には古文書に見えるので（天正19年（1591）3月「伊奈忠次忍領預地書立」（長崎県片山家文書）」）、これ以前にはこの名称があったことが確認できる。「歓喜院本聖天宮縁起」の真偽は不明であるが、弥藤吾に住む中世・近世の人々は、斎藤五の子のゆかりの地であることを意識していたであろう。