东汉后期，朝政腐败，南匈奴时有反叛。从汉安帝永初三年（109）起，南匈奴开始攻击东汉边境郡县。今山西北部再次陷入战乱。

汉顺帝永和五年（140），南匈奴左部句龙吾斯、车纽等围攻西河郡（今陕西府谷县西北），接着又招引右贤王部，合起来有七八千骑，围美稷，扰朔方，杀朔方、代郡长史。南单于庭徙治左国城（今山西方山县南）。汉将马续与中郎将梁并、乌桓校尉王元征调边境部队及乌桓、鲜卑、羌胡的兵力共2万多人，出其不意，袭击并打败了匈奴。吾斯等人重新聚集，攻陷城邑。顺帝派使者责备南匈奴单于，宣明恩德和信义，要单于招叛军投降汉朝。单于并非叛军同谋，他脱去帽子，让出帐篷，到梁并处请罪。梁并被征回朝后，五原太守陈龟接任中郎将。陈龟认为南匈奴左部叛乱，是因为单于未能管好部下，就逼迫单于，单于和其弟左贤王自杀。大将军梁商认为羌胡新近反叛，徒众刚刚聚合，很难用武力制服，最好用招降的办法，于是上奏：“匈奴寇叛，自知罪极，穷鸟困兽，皆知救死，况种类繁炽，不可殚尽。今转运日增，三军疲苦，虚内给外，非中国之利。窃见度辽将军马续素有谋谟，且典边日久，深晓兵要，每得续书，与臣策合。宜令续深沟高壁，以恩信招降，宣示购赏，明其期约。如此则丑类可服，国家无事矣。”朝廷听从了他的意见，下诏书招降反叛的匈奴人。梁商又致信给马续等人说：“中国安宁，忘战日久。良骑野合，交锋接矢，决胜当时，戎狄之所长，而中国之所短也。强驽乘城，坚营固守，以待其衰，中国之所长，而戎狄之所短也。宜务先所长，以观其变，设购开赏，宣示反悔，勿贪小功，以乱大谋。”马续和各郡都按照梁商的话去做。于是右贤王部属1.3万人前来向马续投降。

秋天，句龙吾斯等人立句龙王车纽为单于。吾斯向东招引乌桓，向西收聚羌戎和各部胡人，总共有几万人，打败了京兆（今陕西西安）的虎牙营，杀害了上郡的都尉和军司马，接着“寇掠”并、凉、幽、冀四州，西河郡府被迫迁入离石（今山西离石市）。

同年冬天，东汉派中郎将张耽率幽州、乌桓各郡营兵攻打车纽等。两军于马邑交战，张耽军斩敌头颅3000级，俘获人口、武器和牛羊非常多，大败匈奴叛众。桓帝延熹元年（158）十二月，南匈奴诸部并叛，与乌桓、鲜卑侵扰代、雁门等沿边九郡。东汉任陈龟为度辽将军，命其前往边境平叛，南匈奴、乌桓及屠各胡（北方游牧民族）又火烧陈龟军门，双方冲突不断加剧。

灵帝中平六年（189），南匈奴驻屯于平阳（今临汾市西）。其后，曹操使司隶校尉钟繇围南单于于平阳，南单于归附曹操。献帝建安二十一年（216），曹操留南单于居邺（今河北临漳县西南），待遇如列侯，许其子孙世袭单于名号。将南匈奴分为南、北、左、中、右5部，各立其贵人为帅，选汉人为司马以监督之。南匈奴已成为居东汉并州的一族。