南門町三二三位於台北市中正區南海路五十三號，藏身於台北植物園腹地之中，是一棟日治昭和初期興建的木造日式建築，至今已有近百年歷史。建築原址在日治時期的行政區劃為「台北州台北市南門町六丁目三二三番地」，後人便以這個地址作為它的名字，「町」是日本街區單位，「三二三」則直接保留原有番地號碼，名稱本身即是台北市區發展史的一道印記。
這棟建築最早作為茶屋使用，屬於日式傳統町家風格，採用檜木構造、緣側走廊與木格拉門，屋頂以日式黑瓦覆蓋，整體比例與細節展現昭和年代的工藝水準。隨著戰後產權與用途變化，建築一度年久失修而荒廢，近年在建築師郭中端與堀込憲二教授團隊協助下進行修復，盡可能還原原有日式建築樣貌，並由日本長野縣庭園家小口基實設計枯山水庭園，讓建物與庭園相互呼應。
屋外的枯山水庭園以白砂、石組與耙紋構成，象徵山水流動，搭配修剪整齊的灌木與苔蘚，呈現禪意十足的東方美學。從室內透過木格窗向外望去，砂紋、石塊與光影層層疊疊，是體驗日式空間靜謐感的最佳位置。建築內部不定期舉辦小型茶會、文化講座與展覽，作為植物園與城市之間的文化交流節點。
南門町三二三隱身於台北植物園的步道之間，被荷花池、林蔭大道與多元的熱帶植物包圍，從外部步道初見時容易錯過，反而增添了發現秘境般的驚喜感。鄰近還有植物園內的腊葉館與南海學園，國立歷史博物館、中正紀念堂與南門市場也都步行可達，可串連為一條結合植物、古蹟與美食的市區半日散步路線。
建築周邊的植物配置同樣值得停留，蘇鐵、楓香、雞蛋花與蕨類植物錯落布置，搭配檜木建築的素雅木色，讓人忘記自己其實仍身處台北市中心。從緣側走廊望向庭園，光影隨著樹葉搖動而變化，是植物園腹地中最具靜謐感的角落之一，也是了解日式庭園「借景」與「枯山水」概念的良好教材。
參觀採免費入園的方式，現場依台北植物園與管理單位公告開放時間入內，週末例假日多採每半小時、限額入館的方式控管人數，建議出發前先查詢林業試驗所或台北植物園最新公告，並避開雨後較濕滑的時段，更能從容欣賞庭園與建築細節，留下舒適的參觀體驗。
