裴世矩最初是北齊北平王高貞的兵曹從事。北齊滅亡后，他事北周，被當(dāng)時(shí)還是定州總管的楊堅(jiān)看中，楊堅(jiān)為丞相時(shí)，被招為相府記室事。楊勇還是太子的時(shí)候，裴世矩主動(dòng)的投到了楊廣的麾下。而事實(shí)也證明，裴世矩并沒有看錯(cuò)人。