慈龍寺原稱慈福祠，又稱觀音亭，據廟內民國50年(公元1961年)所立的匾額「佛祖知天機」所書，慈龍寺觀音佛祖信仰肇始於清乾隆41年(公元1776年)，由國內佛教徒迎請落伽山觀世音菩薩至當時的諸羅縣桃城外西北角新社口(《嘉義市志》記載為：河溝北側番社口)。匾額上又書，甲午戰爭後，台灣割讓給日本，觀音佛祖曾賜詩曰：「憂憂憂憂又可憂，浮名浮利莫爭求，台灣雖是東洋鎮，三三過後再回頭」，因此讓居民避免了重大的傷亡。
據《嘉義市志 卷十 宗教禮俗志》記載，明治39年(公元1906年)嘉義發生大地震，由葉發、黃獻等人發起原址重建。昭和13年(公元1938年)，因日治時期的寺廟整理，慈龍寺被併入城隍廟，土地歸濟美會所有。民國36年(公元1947年)由曾木、周溫等人發起重建。