然而過得不了多久，在池田輝政死后，他的兒子池田忠雄繼承了姬路藩，而池田忠雄也很快死去，他的兒子池田光政當(dāng)時還十分年幼，德川幕府以池田光政如此年幼、無法承擔(dān)起守衛(wèi)要沖姬路城的理由，將池田光政轉(zhuǎn)封到了鳥取藩，領(lǐng)地也從五十二萬石縮水到了三十二萬石。