古时期，乳源属地称“百越地”，夏、商、周朝代隶属扬州境内，区域为荒服，为乳源有载史以来的地域之始;据1983年版《瑶族简史》称:隋唐时期，“瑶族主要居住地在……湖南大部分和广西东北部，广东北部等地区”。
走进韶关市仁化县石塘镇，可以看到一座外观高大雄伟而又充满历史沧桑感的寨堡，这就是双峰寨。双峰寨原为避匪而建，在1928年震撼粤北的“双峰寨保卫战”中，这座“红色寨堡”里的革命者浴血奋战、视死如归，在北江暴动史上写下了光辉的一页。
