行司が冷や汗をかく場面としては「物言い」が有名である。令和での物言いの結果を調べた所、物言いがついた取り組みは194番で、軍配通りが130番、差し違えが64番だった。木村容堂は物言いがついた時に判断する時のポイントについて「常に横から見る」などと話した。木村容堂が行司を務めた取り組みで物言いがついた際、軍配通りとなったのは100％だという。行司は若い頃は番付が下の力士を裁き、年を取ると上位の取り組みを裁くようになるという。木村容堂は書の名人でもあり、番付書きを15年以上担当している。