服部家は江戸時代の1740年から幕末まで、幕府所有の御用船を預かり、運航を委ねられていた「御船預り（おふねあずかり」で、屋敷は当時のものではありませんが高台にあり、玉石垣（たまいしがき）の通用入口は当時の豪勢さがしのばれる屋敷跡です。 1700年代末から約13年間、御船預りを務めた服部義高は、天明５年に先代の船が城下で破船、当主が溺死したため、三宅から養子に入りました 。世継ぎが成長したため退役しましたが、現代も海事関係者から評価されている「廻船安乗録（かいせんあんじょうろく）」1810（文化7 ）年刊を残したほか、八丈島の歴史や文化、産業などを知ることができる「八丈裁衣織（はちじょうたちぎおり）」1811（文化８年）刊も著しました。 入口石垣の所のソテツ は、服部弘道が長戸路家から婿に来た時に持って来た物で、建物内部には咸臨丸で渡米した使節団の一員で、福沢諭吉などと６人で写った有名な写真の中の1人である濱口興右衛門（はまぐちおきえもん）の関連展示がされています。興右衛門は、将軍付きの医者であった太田道寿（どうじゅ）の孫で、道寿は９代将軍家重の気がすぐれないため、芸者を長櫃（ながびつ）に入れて城内に入れたことがバレて、大奥ににらまれ流罪になったともいわれています。興右衛門は流人の子孫でしたが、浦賀の濱口家に養子に入り、勝海舟などと一緒に長崎伝習所の一期生となり、明治維新後は横須賀造船所や海軍省に勤めました。流罪の話は一切しなかったといわれています。 現在、服部屋敷では八丈太鼓や踊りなどを披露していますが、服部家の子孫の方は、大島に移住しています。