繁峙县在春秋属晋,为霍人邑。战国属赵,称藿人。秦属代郡。西汉置卤城县,属代郡,后属太原郡。新莽改为鲁城,东汉称卤城县,属雁门郡,建安中年废县。西晋复置繁峙县属雁门郡,永嘉年间废。北魏复置繁峙县。隋开皇十八年(598)繁峙县,初属代州,后改属雁门郡。五代属北汉,金贞佑三年(1215)升繁峙县为坚州,属太原府。明洪武二年(1369)改坚州为繁峙县,属太原府。民国初年属雁门道,后直属山西省。抗战时期属晋察冀边区。解放战争时期属察哈尔省。1949年属山西省忻县。1958年11月代县与繁峙县合并,属晋北。1961年繁峙县,代县分置,属忻县。1983年属忻州地区。