この地で修行した見仏上人の徳を讃えたことから「御島」の名が付き、変じて「雄島」となったといわれる。
島内には、僧侶たちが修行した岩窟が残されており、五輪塔や法名が彫られたものもあります。