北魏登国二年（387），拓跋珪击灭刘显于马邑弥泽（今朔城区西南），俘获“马牛羊以千万计”。登国六年（391），拓跋珪击溃河西（黄河西）刘卫辰部，获马30余万匹，牛羊400余万头。北魏在兼并北方其他游牧民族的战争中，将数以千万计的马、牛、羊掠至平城地区（括今朔州地区），使平城地区成为北魏国家最大的牧场。

尔朱氏为东胡的一支称契胡。尔朱荣的先世进驻朔州地区后，居住在尔朱川之梁郡城，因此以尔朱为姓氏。

尔朱氏长期统率部落，世代为酋帅。尔朱荣的高祖尔朱羽健登国初年，率所部1700名契胡武士，跟随皇帝平定了晋阳和中山（今河北定州市）。论功拜为散骑常侍。因为羽健居住在秀容川之北部，于是拓跋珪下诏割出此地方圆三百里封给他，作为他世代的产业。羽健在世祖太武帝在位时去世。尔朱荣的曾祖父郁德，祖父代勤，相继为领民酋长。

尔朱荣的父亲尔朱新兴，太和年间，继为酋长，家世豪强，财物丰盈。据史书载，他家的牛羊驼马，以颜色分群，无法一个个计数，只用山谷估量。朝廷每有征讨之事，他都奉献私家马匹，并备上物资粮草，以助军需。高祖皇帝嘉奖他，授以右将军、光禄大夫。孝文帝迁都洛阳后，特别允许他冬天来京师朝觐，夏天返回部落。每次入朝，诸位王公重臣争相向他馈送珍玩，新兴也回赠名马给他们。寻转为散骑常侍、平北将军、秀容第一领民酋长。每年的春秋二季，新兴总要与妻子儿女在川泽草原上检阅畜牧，射猎自娱。

由尔朱氏在朔州地区畜牧起家的史实看来，不仅是反映出北魏时期，朔州地区畜牧业相当有规模，而且从供给朝廷粮草，以资军需来看，也说明当时朔州地区经济实力非同一般。

尔朱荣自幼神机明断。到长大成人后，爱好射猎，每次设围行狩，聚部誓众，采用军阵之法，号令严肃，众人都不敢违反。

尔朱荣承继了其父平北将军等爵位之后，授官为直寝、游击将军。正光四年（523），六镇起义爆发，天下大乱。尔朱荣便散卖畜牧，招集义勇，组成军事集团。此后，荣之兵威日益强盛，连朝廷都无法加罪和控制他了。不久，授镇北将军。

孝昌初年，杜洛周、葛荣领导两支起义军在河北起义，河北大震。尔朱荣乘机上表朝廷，要求出兵征讨起义军，北魏又进荣为征东将军、右卫将军、假车骑将军，都督并、肆、汾、广、恒、云六州诸军事，晋升为大都督，加官为金紫光禄大夫，皇上声称亲征，最终未成行。后又迁尔朱荣为车骑将军、右光禄大夫，接着又进位为仪同三司。这时，今山西大部分地区统归尔朱荣管辖，荣遂严格统带部众，广泛招募勇敢忠义之士，北捍马邑（今朔城区），东边守住井陉（今河北井陉县北），以晋阳为首府，成为坐镇一方的地方实力派。

孝昌二年（526），勃海蓨县（今河北景县）人高欢、与善无（今右玉县右卫镇）人尉景以及段荣、蔡儁等众豪杰的来投尔朱荣。一日，尔朱荣屏退身边人向高欢咨询当前时局。高欢曰：“闻公有马十二谷，色别为群，将此竟何用也？”荣曰：“但言尔意。”欢曰：“方今天子愚弱，太后淫乱，得宠小人擅发号令，政令不行，以明公雄武，乘时奋发，讨郑俨、徐纥而清帝侧，霸业可举鞭而成，这即我之意见。”荣大悦，交谈从日中至夜半才结束。自是高欢每参军谋。继而高欢不加羁绊而制恶马，竟不蹄啮，被尔朱荣看重。可见高欢亦是养马、驯马之能手。

这时，北秀容军事集团已具规模，以尔朱荣为首，以诸尔朱氏族人为核心，以今朔州地区的人物为骨干，并吸收了志向相投的北方地区豪杰，共展宏愿，平息混乱，闯荡天下。

正当尔朱荣北秀容军事集团形成、并逐步发展壮大之时，北魏王朝却面临严重的危机。高欢便劝尔朱荣趁天下之乱，以“清君侧”为名，夺取北魏政权，尔朱荣亦有称帝之意，于孝昌四年（528），出兵晋阳，南向洛阳，途中令军士呼“元氏既灭，尔朱氏兴”，众军皆呼万岁。这时，贺拔岳力劝尔朱荣不可称帝。于是尔朱荣便在河阴（今河南孟县西南）正式立长乐王元子攸为帝，是为敬宗孝庄帝。孝庄帝下诏以尔朱荣为使持节、侍中、都督中外诸军事、大将军、开府兼尚书令、领军将军、领左右将军、太原王，食邑2万户。

当年四月十三日，尔朱荣被武卫将军费穆的建议所迷惑，把迎驾的文武百官引到行宫的西北处，说是准备祭天。朝士既集，列胡骑围绕，尔朱荣追究天下丧乱和明帝卒崩之由，云皆因朝臣贪虐，不能匡救所致。于是纵兵大杀，王公卿士束手就戮，死者1300余人。史称“河阴之变”。五月，尔朱荣回到晋阳，坐镇晋阳，遥控洛阳朝廷。

当年九月，尔朱荣生擒葛荣，大破义军。庄帝任命尔朱荣为大丞相，都督河北畿外诸军事，增加封邑1万户，其他官职如故。不久，孝庄帝又下诏表彰尔朱荣，以冀州之长乐、相州之南赵、定州之博陵、沧州之浮阳、平州之辽西、燕州之上谷、幽州之渔阳等7郡，各万户，通前封满10万户为太原国邑。又进位太师。

尔朱荣以将帅之身份，藉部众之效力，兵出晋阳向洛阳，拥立孝庄帝于天怒民怨、四方混乱之时，继又“擒葛荣、戮邢杲、诛元颢、翦韩娄，丑奴、宝夤咸枭马市”，立下了盖世功劳。于是庄帝在永安二年（529）七月，任尔朱荣为天柱大将军，增封10万户，通前封共20万户。加授前后部仪仗、鼓吹。其他官职如故。

尔朱荣居晋阳，控洛阳，令元天穆为京畿大都督镇守洛阳。朝廷命官，都为其心腹。尔朱荣又以其女立为孝庄帝皇后。朝廷大小事，尔朱荣必知，且须按尔朱荣之意图行事。尔朱荣在晋阳时，遥控洛阳，尔朱荣即使在外打仗，亦遥控洛阳。或有求官者，皆诣荣奉承等候，得其同意，无一不遂心愿。满朝官员无不仰其鼻息，惧其权势。荣曾关照候补定州曲阳县令一事，吏部尚书李神俊因官阶太悬殊而未照办，另外拟任他人。荣闻大怒，即遣其所补者往夺其任。荣派人入京，朝中权贵见到了也无不争相巴结；荣曾上表要求北方人当河南诸州的刺史，孝庄帝不允许，元天穆入宫觐见，当面对庄帝曰：“天柱既有大功，若请普代天下官属，恐陛下亦不得违之，如何启数人为州，便停不用！”帝正色曰：“天柱若不为人臣，朕亦须代；如其犹存臣节，无代天下百官理。此事复何足论。”荣闻所启不允，大为怨恨，曰：“天子由谁得立？今乃不用我语。”孝庄帝无可奈何。

孝庄帝外受逼于尔朱荣，内受逼于尔朱皇后。因尔朱皇后生性妒忌，庄帝让尔朱世隆劝解，尔朱皇后曰：“天子由我家置立，今便如此。我父本即作（皇帝），今亦复决。”（《资治通鉴》卷一百五十四）。孝庄帝“恒怏怏不以万乘为乐”。