会長になった翌年の2005年と2012年にJ2に降格。優勝には程遠くチームは低空飛行を続けた。2回目に降格したときに三木谷は父親がガンで亡くなるんですけど、負けたときほど表に出ろと、降格したときは会長は出ないでくださいと言われていたが、そういうときこそ前に出ろというのがあったと明かした。その言葉を胸に三木谷はチームのために前に出た。2022シーズンも低迷するチームを激励。三木谷はどういう局面で行ったほうがいいのか自分の中で考えてはいますと話していた。槙野智章は、僕たちよりも周りのスタッフの方がピリついてますと話していた。