由中山高西螺交流道下→二崙→崙背→麥寮→崙豐→五條港安西府
由中山高斗南交流道下→虎尾→大屯外環→馬光外環→褒忠→東勢厝→台西→五條港安西府
由中山高嘉義交流道下→新港→北港→四湖→台西→五條港安西府
由第二高速公路或中山高接台78線→台17線右轉(前台61線)→五條港安西府
由台17線→台中→台中港→伸港→大城→麥寮→崙豐→五條港安西府
南部北上可接台61線→至五條港交流道下左轉→五條港安西府

五條港安西府之建置緣起，可遠溯至清乾隆六十年間（西元一七九五年），歲次乙卯。是年農曆三月十日夜晚，適值潮水飽和，月色皎潔之際，漁民正在海豐島附近海域作業，忽見東方五條港口狀元澳外有道金光，閃徹雲霄，漁民見狀，甚感驚奇，待退潮時，那道金光便隨潮水漂流至海豐島上，漁民乃相偕往探，只見一隻竹筏，筏上有香爐乙鼎及清香三炷，另有一座香火，上書「張李莫千歲」，眾人見香火駕臨，認係聖蹟，遂建寮奉祀香火於島上。自此，凡漁民出海叩禱，無不感應，由是香火鼎盛，日勝一日。

清嘉慶十一年（西元一八○六年），初建草寮受制於海潮，崇奉不便，眾信倡議遷建廟宇，並蒙張府千歲親自化身擇地，選定五條港「鳳凰活穴」，由瓦厝公館（現瓦厝股）將經營鹽田地撥地一分四厘一毛捐為廟址，並將崙仔頂、瓦厝、五條港三部落合股建造竹棟草廟，雕造張李莫神像安座，供善信膜拜。道光元年（西元一八二一年），境緣工商繁榮，民生富裕，遂由麥寮街楊長利號店東楊裕首倡召募重建，組成八股（崙頂股、崙下股、瓦厝股、五港股、什張犁股、街仔股、客厝股、鹽埔股），同心協力以建神廟，越數年，廟成。道光三十年（西元一八五○年）八月十五日，於廟前豎立丁豎立大旗杆一對，自地面起高六丈餘，傳聞當時因本省缺乏珍貴杉木，張李莫千歲乃顯化為老叟，逕往福州選購木材，並書刻「張李莫千歲」字樣於木材上，木杉漂流海豐島後，善信皆感訝異，愈發堅信神明之靈應。

光陰遞嬗，至民國三十七年，廟宇因年久未修，傾圯日漸嚴重，由地方先賢林明栓及地方熱心人士黃連益、林添、林相、丁彪、趙知高、林寶、林合蕊、連興、林通勤、林前、林故祖、林無欺、林盛、林番、許莉、丁絞、林都、林墻、丁從令、林查某、李平涼、丁老雄、蔡諒等十六人建設中各股選出，參與建廟事宜，組織重建委員會，公推黃連益為主任委員，至三十九年十月工程完竣。壯觀之古宮殿式大殿與中殿於焉呈現。入火安座慶成大典後，旋組織安西府臨時管理委員會，由八股推任委員，公推林明栓為主委，林貶為常務監事，至第三屆時增設副主任委員，由李平出任。民國四十五年，林明栓功成榮退，同時完成管理委員會組織章程，呈報縣政府核備，首屆安西府管理委員會正式成立，公推趙皇擔任主任委員，林貶連任常務監事，至第二屆增設副主任委員，由林蕩出任。在趙主委、林副主委、林常務監事卓越領導之下，以及第一、二、三、四屆諸位委員大德之配合襄助，積極推展各項事務，使廟務日新又新，奠定良好根基。

民國五十八年六月第五屆管理委員會改組，在全體委員敦聘推薦下，由當時的台西國民小學校長姚丙丁出任主委，副主委林蕩、常務監事林貶，均獲連任。第六屆管理委員會於六十三年四月改選，姚丙丁連任主委，副主委由鄭添枝、林托擔任，常務監事由丁子欽接任。六十八年十月改選第七屆管理委員會，主委一職仍由姚丙丁蟬聯，副主委則公推林煙泉、丁見接任，鄭添枝接常務監事。

自第五屆至第七屆管理委員整整十八年間，在姚主委領導之下，各屆副主委傾力佐助歷任常務監事認真稽核收之，各執事委員皆群策群力， 熱誠參與會務的推展，例如數次的增建和改建工程、購置廟庭、美化環境、充實各項設備等等，建樹頗多，始有今日宏偉堂皇之規模，使安西府成為全省聞名的宗教聖地。

民國七十六年十月重新編擬「組織章程」，經第八屆第一次全體信徒代表大會修正通過，旋即改選第八屆管理委員會，主委姚丙丁、副主委林煙泉、丁見，均以高票獲得連任，丁加榮先生則受全體信徒代表的一致支持，出掌常務監事之職。委員有 : 林矮前、丁竹雄、林金水、丁金龍、丁金邦、林作、丁飲、丁司進、林崑嵐、林泰安、丁天從、丁料、林國賢、林錫鏞、林國別、林文志。監事：李山林、丁村藤。諸位大德都是八股內的精英，熱心公益、崇神惠眾，均為積善有德之士。此外廟務辦事處幹部亦隨之略作調整：執行秘書丁德發，金香販賣部主任傅春額，祭祀股長林東山，總務股長林勝野。

民國八十三年三月三日召開第九屆第一次信徒代表大會，依組織章程規定，改選信徒代表六十一人，並推舉（選舉方式）由姚丙丁連任主任委員，副主任委員由林煙泉、丁深河分別擔任，常務監事為丁加榮。

民國八十六年一月十一日姚主委丙丁任內病逝，經代表、經委員一致推選副主任委員林煙泉全權處理廟務，並推李山林為副主任委員。

民國八十七年二月召開第十屆第一次信徒代表大會，並呈報縣政府核定信徒代表由原六十一人增列為一○一人代表數，屆時改選委員廿四人，每股三人（包括主委一人、副主委二人，計廿七人），監事五人，主任委員林煙泉擔任，副主任委員丁深河、李山林，常務監事丁加榮，另外聘廟務人員，秘書李鐘村，總幹事林書能。

民國九十一年三月召開第十一屆第一次信徒代表大會，改選第十一屆主任委員、副主任委員及常務監事，主任委員由林煙泉連任，副主任委員分別由丁顯宗、丁條擔任，常務監事為丁政雄，秘書李鐘村，總幹事由丁加榮接任；同時修改組織章程，並呈報縣府核備在案。

以上諸人盡心廟務，恢宏聖教，並稟持犧牲奉獻之精神，承受委員會之決議，積極推動各項職務，期能創造出更輝煌完善的建設成果。

1795年（乾隆六十年）漁民於海豐島附近工作忽見五條港外有金光，等待海潮退，那道金光漂到海豐島上，前往那金光來源，只看到一艘竹筏，上面有香爐，另外上面有牌位寫「張李莫千歲」。眾人看到討論完認定是神蹟，所以決定供俸張李莫千歲的牌位在海豐島的草寮上。
1806年（嘉慶十一年），因草寮蓋在海豐島上，因潮汐的關係，造成前往拜拜交通不便，於是決定改建在雲林縣台西鄉五條港，為現今廟址。
1821年（道光元年），工商業發達，民眾經濟好轉，由麥寮街 楊長力號 店東楊裕號召重建安西府，遂組成八股(崙頂股、崙下股、五港股、什張黎股、街仔股、客厝股、鹽埔股)過了幾年，廟重建完成。
1850年（道光三十年），廟前建高六丈餘旗杆一對，當因本島缺乏杉木，所以張李莫千歲化為老人，往福州買木材，將「張李莫千歲」字刻於木材上，木杉漂到海豐島後，信徒皆感驚訝，相信是神顯靈。
在唐玄宗時安祿山叛變，張巡死守睢陽城長達兩年，宋朝文天祥以正氣歌「張睢陽齒」追念；良將莫英被張巡感動，結為異姓兄弟，為守睢陽城壯烈犧牲；忠臣李泌也作詩諷刺安祿山。安西府於2006年以仿古代防禦成的方式興建了這座高4樓長160公尺的鳳凰城，就是為了紀念張李莫府千歲正氣浩然堅守睢陽城。

廟宇本體為一宮廷式建築，格局方正對稱，主殿供奉張李莫千歲，左偏殿及右偏殿分別供奉地藏王菩薩和註生娘娘，另外還有凌霄寶殿、太歲寶殿與植福寶殿。主殿內部相當精美，有許多石雕、龍柱、古聯、古匾；廟宇外部尚有鳳凰城圍牆、雲霄岩、吐水黃金神龍池、庭園造景、旗杆…等景點。其中大旗杆高6丈，是道光30年（1850年）豎立至今的古物；另外，鳳凰城的圍牆是為了紀念張巡效忠國家，死守睢陽城的事蹟。