蘇威的父親名叫蘇綽，是西魏宇文泰心腹。蘇威五歲時，蘇綽過世，他就集成了美陽縣公的爵位，曾任西魏郡功曹之職。北周時，宇文護曾想召他為女婿，但他因害怕惹禍上身，于是隨應承了婚事，卻整日躲在山寺中讀書。后來被授予持節(jié)、車騎大將軍，上儀同三司。