井上芳雄は19歳と7歳の2人の息子の父。長男はドイツにバレエ留学をしているという。両親は好きなことを出来る限り応援してくれたため井上も同じスタンスで息子をサポートしているという。次男は舞台を観るのが好きとのこと。母や兄に比べて次男からの扱いが悪いため父親の現実を知ったと話した。井上は仕事が終わるとすぐに家に帰るが、家族には愛が伝わっていないなどと話した。