1960年代になると、当時大人気となっただっこちゃん人形が流行。そのおかげで吉岡の町工場は大忙しとなったが、そのブームはすぐに過ぎ去り多額の借金を抱えることに。6歳だった吉岡は一つのものに頼ったら痛い目に合うと考え家業を継がずに1977年に大阪工業大建築学科を卒業すると建築の世界へ。3年後に独立しヨシオカ建装を創業した。転機となったのは当時急拡大していた持ち帰り弁当の「本家かまどや」の店舗建築を請け負っていた。やがて本家かまどやのフランチャイズに加盟し20店舗を構えた。その好調もあり、業績は拡大し自社ビルが建つまでに。しかし良いときは長く続かず。90年代に入るとコンビニ弁当の品質が向上しかまどやの売り上げは減少し、店舗の拡大も頭打ちに。50億円あった売り上げは3億円にまで激減。かまどやとの契約をやめて弁当店の業態転換を余儀なくされた。その中で思いついたのは屋台のように気軽に入れる寿司居酒屋。寿司職人を雇入れ、2000年に名古屋市にや台ずし1号店をオープン。常連客を獲得する老舗理論や田舎戦略で急成長を遂げた。