最初に建てられた年代は明らかではありませんが、「摠廟（そうびょう。祖霊をまとめて祀る所）の神宮寺（神社と一体になったお寺）」とされているので、八丈で最も古いお堂で、大昔は三島神（八丈島では宝明神＝許志伎命（こしきのみこと）神社）と神仏習合（神社とお寺が一体のものとする考え方）の関係だった時期があったと思われます。 記録では、1338年に神奈川（現在の横浜辺り）の奥山宗麟が、西見にあった宗福寺に神奈川から禅僧を招いたとされています。1430 ～1450年頃、大里に４つの寺社（優婆夷神社と大善寺（長楽寺のもと）、宝明神と宗福寺。これらは習合関係と思われる）が集められ、薬師堂や岡里神社は、そのまま岡里に残ったものと思われます。岡里神社は、優婆夷神社の元のもので、中村商店の奥あたりにあり、優婆明神を祀る優婆夷神社と岡里神社は100年ほど並置したと思われます。残された薬師堂は、その後は宗福寺の管理の下に活動していました。 薬師堂には、1390（明徳元）年の鰐口（わにぐち）があったとされていますが、鰐口は1874（明治7）年に盗まれ、本尊の薬師如来像（やくしにょらいぞう）も昭和初年に焼失しました。その後再建されましたが、1964（昭和39）年の火災で再微焼失し、再再建された現在の堂はコンクリート造りとなっています。 江戸時代には追儺（ついな）の神事で神楽（かぐら）が演じられ、雨降りの祈願も行われました。現在は病気を治す祈願をする場となっています。 祭事は12月中旬の日曜日に行われています。