夏目は伝説の経営者のヤマト運輸の小倉昌男を尊敬してやまないというが、宅急便の生みの親で、晩年に資材を投じて開業したのはスワンベーカリー。障害者の自立を目的とし、その働く場としてベーカリーを提供した。夏目は大学院生だった24歳のときにスワンベーカリーについて書かれた本に出会った。夏目はその本から障害者の月給が1万円であるという事実に衝撃をうけたという。それを小倉が経営の力で障害者の実状を変えていこうというものだったという。多くの障害者は、就労支援施設で作業を行い時間や出来高に応じて工賃をうけとる。平均の月収はわずか1万6507円。その実情を知った夏目はスワンベーカリーを自分も手掛けたいと小倉に手紙で何通も送った。半年後に面会ができるという知らせがあり、小倉と実際に対面した。しかし小倉は経営もなにもしていなかった夏目に経営はそんなに甘くないと言い出し名刺交換に応じてくれなかったという。その後夏目は一念発起し豊橋市内にベーカリーを開業し障害者3人を雇用し、商売をスタートさせた。この店で夏目は障害者に最低賃金を保障し10年以上悪戦苦闘した。しかし借金は増え続け結果は出せなかった。そんな中で出会ったのは有名ショコラティエの野口和男さん。一つ一つの作業が単純なチョコレート作りなら製造工程を細分化すれば高度な商品を作れると思いついた。そして2014年に久遠チョコレートが誕生した。
夏目は小倉昌男にスワンベーカリーを手掛けたいと手紙を送り、実際に会えることになったが名刺をもらってくれなかったという。その時の衝撃には頭が真っ白になってしまったというが、半年もかけた願いだったがわずか数秒で終わってしまったことにショックと少しのイライラを感じたという。しかし今では見かけより商売は泥臭いものと言いたいことがよくわかると答えた。しかしその後立ち上げたベーカリー事業ではパン作りは大変だったと答え、素材に時間を合わせる必要があり、それができないと廃棄になってしまうという。また薄利だったが、チョコレートは利益が出る上に手作業がたくさんあり、溶かせばまた最初からできることが魅力的だったという。また障害者と属性がついただけで低賃金という理解できない状況を仕方ないと捉えることに社会のあり方としてナンセンスだと答えた。