飯縄山の名前の由来は「飯砂山」。昔は飯砂が食べられた。里の人が食べるものがなかった時に飯縄三郎天狗が砂を振る舞った。里の人は喜び飯縄三郎天狗を慕った。戸隠地質化石博物館で昭和14年に採取された「天狗の麦飯」を紹介した。江戸時代の記録を見ると「手にすくって食べると味わいは麦飯と変わらない」「これにより飯住ん飯砂山と呼ぶ」とあった。