秦王政二十年，也就是公元278年，秦軍攻破楚國(guó)王都郢邑，楚王室遷移壽春。秦軍為追擊楚王室，無(wú)暇顧及番越地區(qū)，以至于番越地區(qū)，盜匪叢生。吳芮就是在這種情況下挺身而出，迅速聚集起了萬(wàn)余人馬，在番縣站穩(wěn)腳跟。后吳芮接受老秦的委派，正式成為番陽(yáng)令。