另一個顧慮是他的三個兒子還滯留京里呢，一旦自己謀反，三子必然被誅。為此他上書稱病，請求遣還三子。這時齊、黃二人的意見又沖突了，齊泰主張將三子扣為人質，黃子澄則認為不如放還，打消燕王的疑慮，待朝廷布置妥當，再派兵突襲、一舉成擒！