1844（天保15）年流罪となり、1884（明治17）年に77歳で亡くなりました。末吉（すえよし）地域の長戸路屋敷の現在の建物は、1861～1864（文久年間）に彼が棟梁（とうりょう）となり建てたものです。八丈島第一の大工で、島に多大な貢献をしました。1860（万延元）年の利衛門騒動の時に、騒動仲間の誘いをうけましたが、役所に届けて褒美（ほうび）をもらっています。記録で見ると、明治14年最後の赦免でも赦免されなかったのは、留五郎ただ一人で、なぜか赦免されることなく明治17年に死亡しています。墓は東里の外稲場で、宇喜多秀家の墓地に入って行く細道の手前の左側にあります。