共同墓地の外れの一段低い所に118基を納めた流人墓地がある。江戸時代以前の大昔に罪を犯して島に流された罪人や墓地については確かな記録がないのでわかっていないが、その後書かれた「新島流人帳」には寛文8年（1668年）4月から明治4年（1871年）12月まで203年間に1333人が流されている。
それらの人たちの年齢や身分はいろいろさまざまで武士、百姓、町人、神官や僧侶、医師、奥女中、遊女、無宿者等が赦免されないうちに病死した人たちは655人、赦免された人は605人で、その他の人たちは島で再び罪を犯して死刑になったり、牢屋に入っているうちに病死したり、船中死や自殺したりした。
流人の中には学問のある人、優れた技術を持っている人も大勢いた。こういう人たちは島に流されている間に島の子どもたちに文字や学問を教えたり医者として病気やケガを治したり、島の人たちにいろいろな技術を教えたりして、島の人たちの生活に役立つように力を尽くした。島の人たちは自分たちが食べるものすら足りなくて苦労したが、自分たちの食べるものをさいて、これらの人たちに食べさせた。
流人の中には日々の憂うつな気持ちを酒やバクチにまぎらわしていた者も少なくなかったが、いっしょに流された仲間が亡くなると、酒が好きだった人の墓石を「酒樽」の形にしたり、「酒」という文字を墓石に刻んだりして霊を慰める人もいた。
流人の墓石は、流人の世話をしていた村の五人組の中の親しくしていた人たちの好意によるものと言われている。
流人墓地に通じる墓路（はかみち）は墓地の西北の隅にある。入り口に供養塔があり（台座、塔身共2m）「流人一統先亡後滅諸霊魂」と刻まれて、「寛政5年正月、19世日養供」と記されてある。昔は共同墓地と流人墓地は樹が植えてあって、通り抜けは出来なかったと言われている。
新島では流人で赦免されないうちに病気で亡くなった人は「流人墓地」に葬られ、島で再び罪を犯して処刑された人は「処刑場」の墓地に埋葬されている。島の流人関係を知る上で、この二カ所は貴重な資料となっている。
また流人墓地手前の共同墓地では、墓掃除を習慣にしていたおばあさんの霊が、亡くなったあとも墓掃除をしに現れるという。
