这座神社位于海拔176公尺的小山胡四王山顶。

据说这座寺庙原本是8世纪末坂上田村麻吕所供奉的，主神是药师如来，被称为“医王山胡四王寺”。 1818年，主神由药师如来改为医药上的大己贵命少名彦命，成为现在的神社。

胡四王也是一座植被丰富的山，尤其是春天，前往神社的途中猪牙花盛开，让参拜者赏心悦目。

每年1月2日举行胡四王苏民祭。

苏民祭是主要在岩手县举行的祈求人民身体健康、五谷丰登的传统活动。这是一项激烈的活动，缠着腰布的男子们争夺一个袋子（Sominbukuro），里面装有一个名为 Oasuda 的护身符和一个写有字母的名为“Komagi”的小护身符。

据说，“胡四王苏民祭”始于1865年（庆应元年），因不明原因的不治之症的爆发而开始举办，目的是祈求瘟疫消灭，人民安心。