神威岬の女人禁制の言い伝えは、源義経が岩手県から積丹町に逃れたという伝説が残っている。チャレンカという現地の女性が恋をしたが思いを伝えられないまま義経はこの地を去った。あとを追ったチャレンカは神威岬から身を投じたという。岬から望む「神威岩」はチャレンカの化身と云われている。それからこの辺りを女性が乗る船が通ると事故に遭うとされるようになり、幕末まで女人禁制の地とされていた。現在は整備され誰でも通行できる。