明朝崇禎年間，在樹林莊拓墾的陳文成先進，每當在其田園工作，黃昏收工回家時，常遇到一對拄著拐杖的老夫婦，往附近的高山頂走去，當時人煙稀少，山上沒有住家，先進甚覺奇異，逐前往查看，發現山頂有三個巖洞，從巖洞眺望四周景觀，甚為優美，仿若仙景，先進咸認此為福德居所，其所見到的異像係福德顯靈，於是在西元一六三九年（明崇楨十二年）仲秋，選中間較大之巖洞，祀奉福德正神之神像供人膜拜，並稱此山頂為高山巖，意即高山的岩洞。

當時此地正處拓墾初期，樹林莊至高山巖間，草木繁茂，四周的民眾常到此牧牛；因林木茂盛，放牧出去的牛隻總沒於林間，傍晚回家時，常找不到牛隻，情急之下，牧者便跑到山頂上的巖祠，以樹枝代香或雙手合掌，誠心誠意的請示土地公，尋找牛隻的方向，每按其指示的方向，都可以找到牛隻。福德顯靈，口耳相傳，四鄰的民眾，就常來參拜。當時因民眾經濟能力差，讓土地公在沒有祠壇的洞穴中，頂著強風烈日福祐民眾。

直至清朝末年，才由當時的恆春知縣沈公，倡建祠壇，此時土地公才有遮風避雨之所。在西元一八九一年(光緒辛卯年)季春，當時恆春區長尤炳文，因久婚無子，到廟裡求嗣發願，如獲一子半嗣，願發動善男信女捐資修建廟祠；果如其願，重新修建。西元一九二五(民國十四)年冬天，地方誠心篤信的紳商，再予捐資整修。到了西元一九七一(民國六十)年孟春，夙因構造簡單，幾歷滄桑的廟祠，凋殘陳舊，迨失莊嚴，再由地方仕紳頭家爐主等，策動各界善男信女捐資重建宮宇、神殿、鐘樓、鼓閣等，於民國六十一年(壬子)仲春落成安座。 同年並組織委員，成立高山巖福德宮管理委員會，負責管理本宮各項事務及未來發展的籌劃，重建後的廟宇，雕樑畫棟，金碧輝煌，宮貌堂皇。叨蒙神靈顯祐，黎民安康，社稷興盛，有求必應，篤信者日增。

先總統經國先生曾於六十六年八月二十八由當時的屏東縣長柯文福及恆春鎮長龔新通陪同到訪，讓本宮蓬壁生輝，成為恆春半島香火鼎盛之名廟。民國八十二年再拓修前殿，使殿堂更富麗雄偉，民國八十七年將原本空間窄小、視野不佳的廟埕給予拓建，並增建欄杆維護香遊客之安全。使各項設施日臻完善，由各地前來進香、參拜、遊賞者，更是絡繹不絕。

本宮管理委員會成立後，在歷屆主任委員、委員、監事的披荊斬棘下，宮務已步入常軌，蒸蒸日上。然，本宮受國家公園法之限制，土地取得不易，想做必要的擴充與整建，困難重重。而在法令重重限制下，能有今日之設施與規模已屬不易。

以下就是福德宮裡參拜路線：
首先，祭拜廟前的天公爐。
正殿，祭拜主祀神明。
正殿左側十八羅漢洞，祭拜十八羅漢公。
正殿左側前龍山古寺，祭拜地藏王菩薩。
正殿右側二十四孝山洞前祭拜。
返回廟前天公爐答謝。
金爐銀爐處，燒化金紙。