福德正神為早期當地居民所信仰，在清道光二十二年（1842）前後，當地民眾共同集資興建福德祠，廟址位於今台南市延平郡王祠（開山路152號）文物館處。

咸豐九年（1859）四月，因建築殘破，管理人曾君騰等10人發起重修，與大埔街民眾 39人共捐 出時錢480圓90錢。同治五年（1866），因廟宇殘破不堪再度重修。

大正元年（1912）十二月，管理人葉永聲（大埔街保正）向居民募款，得717日圓，動工修繕，翌年（1913）一月竣工。大正昭和之際，開山神社改建，福德祠因位於開山神社計劃範圍內，神明被迫遷出。信眾乃將神像迎至民宅（今大埔街52號市商會所在）供奉。後因道路開闢民宅被毀，信眾又將神像遷至豆腐店（今大埔街65號）。

光復初期，大埔街拓寬，豆腐店部分土地被徵用，信徒乃將福德正神再遷至今裕興菸酒專賣店址（開山路170號）。因地理師向信眾透露打鐵舖（現廟址）有五水會流，日後必得發展，信眾乃募款建廟，暫將福德正神寄祀於臨水夫人廟。民國三十七年廟宇落成後，才迎回安座。　　

民國五十七年，因福德祠建物又有多處損壞，管理人蔡萬生募款重修。六十八年，廟宇又破損，管理人李武雄募金重修。八十二年，李武雄又募款三度重修福德祠。八十六年，興建福德祠辦公室。八十八年五月，現任管理人李堅銅募款77萬餘元，建造環保金爐。八十九年，李堅銅再募款整修，設置籤箸、籤詩架、光明燈以及招財進寶燈等。