佛教中關於五百羅漢的來歷有很多說法:壹是《十讀法》中說，應時在世時，經常有五百弟子聽法講經。第壹，釋迦牟尼涅槃後，參加第壹次大會或者第四次大會的500名僧人。在《文婧舍利弗》中，也有記載說，在法王米多羅摧毀佛法之後，500名阿羅漢復興了這個神聖的宗教。在唐玄奘的《大唐西域記》中記載，莫傑托共有佛教僧人1000人，其中500人是修成正果的羅漢僧人，另外500人是普通僧人。國王的名字叫無憂王，他們都很崇拜他們。因為五百羅漢平時不揭真相，所以無憂王不知道他們是羅漢，只是把他們當成普通的佛教高僧。壹個叫摩訶婆的普通和尚發表了違反教規的言論，引起了佛教僧侶的混亂。無憂王決定處決這1000名佛教僧侶。這時，500名阿羅漢穿過雲層離開了，隱居在賈斯米諾國的壹個山谷裏。無憂王知道後專程登門道歉，並按照500羅漢的樣子在京城造了500尊雕像。自此，五百羅漢流傳下來，流傳到中國。盡管眾說紛紜，但羅漢被認為是“斷了壹切煩惱，值得世人扶持的聖人。”
中國漢傳佛教尊奉五代五百羅漢。當時的王錢在天臺山方廣寺建造了500尊銅羅漢。鹹德元年(954)，經吳越王錢許可，道謙禪師在杭州凈慈寺創辦了五百羅漢堂。985年，宋太宗雍熙二年，制作了516尊羅漢(16羅漢、500羅漢)，安放在天臺山壽昌寺。從那時起，全國各地的大型寺廟中又建造了500多尊羅漢。關於五百羅漢的名字，五代天臺山石橋寺(福宅北路)有壹個關於五百羅漢的名字，今已不存在。此外，南宋紹光四年(1134)，工部郎高道肅記載的江陰軍(甘明遠五百羅漢尊豪碑)，壹壹命名五百羅漢。佛教研究者認為，碑中提到的500羅漢的名字，並無典據，只是附在宋代的壹種說法。然而此後，每座寺廟都修建了500座羅漢堂，都使用它的名字。
歸元寺羅漢堂是壹座新穎的藝術寶庫。門前的對聯是:“莆田供大羅漢；眾皆離歸袁。”對聯有:“自造白光，祖德惠玲久，至今三百余年，復為廣廈羅漢；同治以後，國家復興，民心衰弱，願出二十八品，講法華。”門聯和楹聯均為曹於光緒二十七年(1901)所題。
羅漢堂建於清朝道光年間，鹹豐年間(1852)毀於兵，光緒年間(1895)重建，1902年竣工，距今已有200年歷史。羅漢堂呈“天”字形建築格局，“天”的四個口為四個小院落，為龐大深邃的大殿提供了良好的通風采光條件。駱寒是按“田”字排列的。雖然廟裏有500多尊雕像，但並不擁擠。這種建築模式既巧妙又合理。
歸元寺的五百羅漢是王父子在湖北省黃陂縣用九年時間塑成的。時至今日，黃陂還是湖北的雕塑之鄉，泥塑歷史傳統悠久，技藝精湛，藝術家眾多。《歸元叢林羅漢碑》記載，《歸元寺五百羅漢》是以南嶽衡山朱升寺五百羅漢石刻拓片為基礎，經過加工、提煉、創制而成。工藝采用“脫胎漆塑”，又稱“金身抱沙像”，先將泥胎塑成模型，再將格布生漆逐層塗塑，稱為漆布空塑，最後用金粉裝飾。其特點是防潮、防蛀、耐用。在過去的兩百年裏，羅漢堂數次遭受洪水襲擊，羅漢堂到處漂浮，但水退去後，羅漢堂依然完好無損，顯示了高超的雕刻技術。
走進羅漢堂，都被他們生動的形象所感染。只見他們有的盤腿而坐，有的躺在石頭上望著天空，有的在研讀佛經，有的在驅邪。表情上，有的勇敢，有的溫柔，有的天真淳樸，有的歷經滄桑，都歷盡滄桑，栩栩如生。比如第463位羅漢，是壹位憤怒的尊者佐藤，身邊有六個為羅漢挖耳朵、捂嘴、捂眼的少年，被稱為“六賊演彌勒佛”。六賊是眼、耳、鼻、舌、身、心。它警告佛教弟子不要被世俗的感情所感染。雕像中，孩子的天真無邪，孩子氣的調皮，羅漢善良淳樸的神態刻畫得惟妙惟肖，讓人發自內心地贊嘆大笑。
“數羅漢”是人們參觀羅漢堂的壹件趣事。傳說人們隨意從壹個阿羅漢開始，然後依次倒數自己的現存年齡。這最後壹個阿羅漢的身份、表情、動作，都可以表現出算數者的命運。這項活動為人們參觀羅漢堂增添了許多樂趣。
在羅漢堂外的地藏堂，有地藏的塑像，堂內的木刻神龕更勝壹籌。其間的拱形飛檐、魚角動爪、雙鳳旭日、飛龍滾輪、浮雕吊柱、花卉、人物，都是極其精美絕倫的，是我國不可多得的藝術瑰寶。