ところが、初代様のこんな有頂天を神様はお許しにならなかったのでしょう。1920年（大正9年）の3月、物価が大暴落して、初代様は大損害を被ってしまいました。1923年（大正12年）の2月に妻を迎えましたが、その時には店も傾き、とても苦しい時でした。
　悪いときには悪いことが重なるもので、その年（1923年）の9月に、関東大震災が起こり、初代様の財産や商品は焼き尽くされてしまい、着の身着のままになりました。
　初代様の貧乏生活はつづきました。1932年（昭和7年）には、住んでいた家も売り、借家住まいになりました。ますます貧乏はひどくなり、ついには家賃や八百屋の支払いまで滞ってしまいました。
　それでも初代様は強情で、弱音は吐きませんでした。しかし、ある夜、
　「お前はなぜ自分を悟らんか、いつまで宙に浮いているのか。徹底的に身を落とせ！」
　という声が聞こえました。
　それを聞いた初代様はいろいろと考えた末、「身を落とせ」という言葉にしたがい、それまで来ていた洋服を脱ぎ捨てて、ジャンバー姿で雑穀のブローカーとして、街中を自転車で走り回りました。
　しかし、良いことはなかなかめぐってこないで、きょう食べるお米もないこともありました。この貧乏生活は実に11年間も続いたのです。