元朝承平近百年，山西不再是边关，而成了“腹里”，成为全国比较繁荣的地区之一。元末农民战争，山西战乱较少，也成为蒙古统治者退出中原前的最后堡垒。公元1368年，依靠农民起义起家的朱元璋在南京称帝，建立明王朝。之前，元至正二十七年(1367)冬，朱元璋在消灭江南的张士诚、陈友谅后，派大将军徐达、副将军常遇春率军25万北伐中原。次年秋，徐达、常遇春北伐军按计划攻下元大都，占领了河南、山东，并从东、南两个方向对山西形成了钳形包围之势。“取山西”战役由此开始。

徐达北伐取山西

当时盘踞山西的元将为扩廓帖木儿，拥有10万大军驻守太原。当徐达、常遇春率大军过井陉，攻克娘子关进抵平定时，元顺帝已北逃至元上都开平(今内蒙古自治区多伦县西)，并命扩廓帖木儿收复大都。扩廓帖木儿率军北走大同，企图在徐达主力西征时而乘虚袭击大都。元军行至河北保安，闻徐达军奔袭太原，害怕退无归路，遂改变战略，急率精骑还兵太原。太原守将豁鼻马感到元亡在即，主动派人到徐达营求降，并表示愿为内应，与明军里应外合，偷袭扩廓帖木儿。明军在豁鼻马的配合下成功偷袭了扩廓帖木儿的大营。因事发突然，正在帐中燃烛起草军书的扩廓帖木儿一时不知所措，穿靴不及，慌乱中光着一只脚钻出帐篷，骑上一匹没备鞍辔的战马，仅率18名亲军护骑逃出阵地，前往大同。剩下的军队因失去统帅，无力组织反抗，被明军杀得七零八落。到次日清晨，豁鼻马派儿子将扩廓帖木儿出逃的消息告知徐达，并迎接明军。明军整队进入太原城，收降兵4万余人，战马4万余匹。徐达分遣诸将，扩大战果，不断派兵驱逐扩廓贴木儿在山西各地的残余势力，并设置地方官员，整顿社会秩序。

设立“三司”

明初，承元之制，在山西置行中书省。洪武九年(1376)改行省为承宣布政使司，与提刑按察使司、都指挥使司合称“三司”。三司长官布政使、按察使、都指挥使分掌民政财政、司法监察和军事，皆隶属中央政府。明朝实行卫所兵制，以卫所作为军队基层组织。山西都指挥使司，其前身是太原都卫。洪武八年(1375)十月改为山西都指挥使司，领9卫、9个守御千户所。洪武六年(1373)，明太祖派大将李文忠率军进驻山西，加强晋北的防御，并多次击退北元兵的骚扰行动。

“九边”重镇

为防御北元势力南下，明政府设立五军都督府，建立卫所军制，在东起鸭绿江、西至嘉峪关一线先后设置了辽东、蓟州、宣府、大同、太原、榆林、宁夏、甘肃、固原九大军事重镇，史称“九边”。各边驻扎大量的兵马，派总兵镇守。大同总兵驻大同，太原总兵驻偏头关，在太原以北形成了两大军事防区。同时不断地加修边墙，在山西境内形成内外两道长城。后来山西的大边、二边①即按此布局建筑和改造。大同在明代北部边防中具有重要的战略地位，是京师的重要门户，驻扎有13万马步军队，一直拱卫着北京。太原城在洪武九年(1376)也进行了扩建，墙包砖石，环以大濠，城周24里，气势非常雄伟。

封王建藩

明太祖为了维护统治，实行封王建藩的制度。他的26个儿子，封到山西的即有晋王、代王、沈王。晋王朱棢，洪武三年(1370)封，十一年(1378)就藩太原。代王朱桂，洪武十一年(1378)封豫王，二十五年(1392)改封代王，同年就藩大同。沈王朱模，洪武二十四年(1391)封，永乐六年(1408)就藩潞州(今长治)。这一系列举措极大地巩固了明时北部的边防。