함백산은 황지의 진산(鎭山)으로 알려진 산이다. 『척주지』에 "대박산 서쪽은 정암(淨岩) 육천이고 육천의 물은 영월에 이르러 큰 강에 흘러들어 간다. 대박산은 태백산 동쪽에 있고 아래 위로 본적(本寂) • 심적(深寂) • 묘적(妙寂) • 은적(隱寂) 등의 암자가 있고 만생백(蔓生栢)과 오엽송(五葉松)이 많이 자란다. 대박산 동쪽은 황지이고, 황지 동쪽에는 연화산이 있다."고 기록되어 있다. 이 내용에서 대박산의 위치가 지금의 함백산으로 짐작된다.
『삼국유사』 척주부에는 "근대봉 남쪽에 상함백산(지금의 은대봉) • 중함백산(본적산) • 하함백산(지금의 함백산)이 있다."는 기록이 있어 함백산은 세 산을 아우르고 있음을 알 수 있다. 또한, 『삼국유사』에 "자장법사는 처음 오대산에 이르러 진신을 보려고 산기슭에 모옥을 짓고 살았으나 7일이 되어도 나타나지 않았다. 이에 묘범산(妙梵山)으로 가서 정암사를 세웠다."는 기록도 있다. 이같은 기록으로 봐서 묘범산과 대박산은 함백산을 지칭함을 알 수 있다.
이러한 고문헌을 통해서 산 이름의 역사가 매우 오래되었음을 엿볼 수 있는데 『태백의 지명유래』에 의하면 묘범산은 '묘하게 높은 산'이라는 의미의 묘고산(妙高山)과 같은 말로 대산(大山)이자 신산(神山)이며 세계의 중심이라는 뜻한다. 또한 대박산이 '크게 밝은 산'이라는 뜻으로 『대동여지도』에는 대박산이라고 표기되어 있다. 그러나 일제강점기에 제작된 『조선지형도』에는 함백산이라고 적혀 있다. [1]
서북쪽 산록에는 신라 선덕여왕 때에 자장(慈藏)이 당나라에서 사리를 가지고 귀국하여 건립한 절로 알려지고 있는 정암사가 있다.