一直都有傳言說，他勾結了自己的女婿松平忠輝和其他一些幕府內(nèi)部的人，想要在幕府之內(nèi)制造動亂，雖然未必有直接的證據(jù)，但是幕府對他們的防范卻十分嚴密，松平忠輝雖然是家康的兒子，但是幕府對他十分苛烈，在家康死后，他的哥哥、繼承了將軍大位的德川秀忠將他幾次輾轉流放，最后被幽禁到了信濃國的高島城。