大里地区は、六方（法）積みと言われる玉石垣が多い地域です。六方積みは、玉石と言われるラグビーボールのようなほぼ同じ大きさの石を積むものです。石を並べて置いてゆき、その間の下がったところにまた石を置いていくことを連続的に続けると、１個の石を周り6個の石が囲むようになるので、このようにいわれるのです。1個の石が、大体15から20㎏ほどの重さです。 八丈島は、風が年中強いため、家の周りに石垣を積み、その上に椿やシイノキなどの常緑樹を植えて防風するのが普通の家の在り方です。その時に、玉石の海岸が近くにあって財力があれば、玉石を積み、火山地質なので火山灰に入っている主に玄武岩溶岩岩塊があればそれを積み上げて黒っぽい石垣を築いているのです。 ここ大里地区は、近くに横間という安山岩の玉石が大量にある浜があり、経済的に豊かな有力者が多かったことから、全地区に玉石垣が発達した地域です。家周りだけでなく、畑などの土止めの石垣などもあります。特に、陣屋の北（左）側の石垣は上部が反っていて、武家づくりっぽい特色あるものとなっていて、観光の目玉になっています。この玉石垣の特色を生かして、一時伝統的建造物群保存地区として指定するという動きもありましたが、保留中です。 玉石は、安山岩質であり、玄武岩では丸くならず、流紋岩では砕けてしまうので、安山岩が発達した八丈の三原山系（八丈小島も）にしか、玉石はできないと考えられています。八丈三原山の基底岩は安山岩で、それが露出した所では玉石を見ることができます。従って、他の伊豆諸島の島に玉石はなく、八丈富士山系でも見ることができません。 陣屋の玉石垣は、江戸・天保時代の羽倉外記代官の巡検の時の絵に描かれていますが、いつ造られたかは記録がないので不明となっています。「流人がおにぎり１個と交換で石を運んだ」という説が流布していますが、江戸時代の初期100年ぐらいの間の流人は１年に１人ぐらいの人数だったことや、初めは宇喜多秀家が代表するような武士や僧侶などの流人が多かったことから、離島ブームの時（昭和40年代ころ）に創作されたともいわれています。