ヤマト運輸創業50周年に当たる昭和42年（１９６７）の７月、小倉の父親である社長が脳こうそくで倒れた。30歳の誕生日に会社を創設した父親は、「傘寿（80歳）の祝いと50周年式典を同時にやる」と豪語していたが、半身不随になり、執務も不本意になった。
以後、父親は病院で療養生活に入ったが、社長の座にはとどまっていた。小倉は毎週土曜日、遠く離れた県の病院に決済書類を持っていかなければならなかったという。そのため「トップが長く居座ると〝老害〟になる」という教訓を学んだが、肉親の情もある。かわいそうで、「もう辞めたらどうですか」とは言えなかったのである。
そして、昭和46年（１９７１）、車いす生活を余儀なくされていた父親に代わり、小倉は46歳で２代目社長となった。その後、会社は順調に業績を伸ばし、小倉も会長、相談役として、経営から徐々に身を引いていった。
ところがその後、経営がおかしくなり、平成５年（１９９３）６月、「２年限り」と宣言して会長に復帰、順調に再建を果たす。
約束の２年を終えたあと、小倉は取締役に残るべきか迷った。いざというときのため役員会で発言できる権限を残す、という考えに傾きつつあったが、同時にある場面を思い出していた。
「二代あとの社長である宮内宏二君が一期終えた時のこと。彼に『大変良くやっている。もっと自信を持って指揮をとったらどうか』と声をかけた。すると宮内君は『役員会で皆が誰の顔を見ているかご存じですか』と言う。『社長である君だろう』と答えると『違います。皆が小倉さんの顔を見ていることに気づきませんか』。
はっとした。役員会で発言しない取締役に不満を持っていたが、実は自分存在がマイナスになっていたのか。この場面がよみがえったので、進退は決まった。すっぱり辞めよう。九十五年六月、ヤマト運輸の一切の役職から離れた」
（『私の履歴書』経済人三十七巻 １４９、１５０p）
＊ ＊
一般的には多大に会社に貢献した有名な経営者ほど、肩書がなく秘書や社有車のない生活に強い寂寥感を感じるといわれます。
小倉は最初に会長になったとき、マスコミから「院政を敷くのではないか」と言われ、「そんなことはいっさいない」と否定しています。「残るか否か」の決断に迷っていたとき、この宮内の一言で自分の存在自体が「老害」と気づき、以後、福祉事業に専念することになったのです。
進退に関する自分の恥を、正直に告白してくれた「私の履歴書」でした。