清治時代康熙60年（1721年），朱一貴起兵反抗滿清暴政，卻因內訌事敗，最後從容就義。同治年間，後人建祠祭拜當年抗清的義士，主祀「小城隍爺」朱一貴。日治時代，民間傳言玉皇大帝感佩朱一貴慷慨赴義的精神，將朱一貴封為「台南州城隍綏靖侯」，俗稱「小城隍」。日治初期，信徒在小南門附近重建廟宇，故稱「小南城隍廟」。1983年，因開闢道路，拆除舊廟，遷至現址至今。