春秋为代国地，战国属赵，秦属雁门郡，隋为神武县地，唐为马邑县地，属朔州，辽置河阴县，金大定七年(1167年)更名为山阴县，因位于恒山余支翠微山的阴坡而得名。

风景名胜

万里长城——山阴段

万里长城依阴山、恒山、太行山、吕梁山之势，分为内、外两支，内长城建于恒山之阴，外长城建于阴山之阳。山阴县境内的长城属内长城，是山西境内保存较为完整的一段。它东起新广武，西接代县分红岭，依恒山之阴连接着内长城东段18个重要隘口，全长5.3公里。

雁门咽喉——广武

广武，位于山阴雁门山的长城脚下，紧依雁门关，扼守关内勾注陉之咽喉，是长城线上的重要军事防卫据点。依塞傍关，地处要冲，与长城紧密相连在一起，素有北门锁钥之称，历史上为兵家必争之地。

戍边亡魂——汉墓群

在新广武城北一片广阔平原上，散布着一座座大小不等的坟土堆，坟土堆连绵起伏，当地群众称为“谎粮堆”。整个汉墓群占地7.5平方公里，现已标定墓冢294座。236号是最大的墓冢，占地4亩，高约20米。这是中国发现的最大汉代墓群，对研究汉代政治、经济、文化都具有重要的参考价值，1988年被正式确定为国家重点文物保护单位。