南鄉堂寺石窟在鼓山南麓，滏陽河北岸，有石窟七座，依山而建，分為上下兩層，分別稱華巖洞、般若洞。上層有空洞、阿彌陀洞、釋迦洞、力士洞及千佛洞。華巖洞最大，高4.9米，寬深均6.3米，因洞內刻有《大方廣佛華巖經》而得名。佛像千姿百態，造型壯嚴，共1228尊。千佛洞保存最為完好，洞壁佛像鱗次櫛比，共有大小佛像1028尊，窟頂滿布形態生動的飛天浮雕、伎樂天或手彈箜篌，或吹奏笙管，飄帶搖曳，精致典雅。窟區前是清朝修建的正殿、配殿和樓閣等建筑群，窟區西南還有宋塔一座，磚結構，平面八角形，高七層，樓閣式，每層檐口略有上翹，高聳挺拔。殿宇寶塔與石窟相映，聳立於青山之中，十分壯觀。北鄉堂寺石窟在新市鼓山之腰和村東，其地山勢高峻，多峭壁懸崖。石窟筑於山壁，分南、北、中三組，共有九洞，名大業洞、刻經洞、二佛洞、釋迦洞、嘉靖洞、無名洞、大佛洞等。中組釋迦洞前有拜殿檐閣，外觀頗似樓閣，窟外兩側各雕一高大天王。大佛洞高11.3米,寬13.3米,深12.5米,洞內共有佛像151尊。大佛洞雄偉軒昂，迥廊寬闊幽深，使人有置身於仙境之感。壇上坐佛高近四米，肌肉豐滿，線條柔和，壯重敦厚，面部雖經千年風日侵蝕，仍圓潤光潔。刻經洞因內外壁上滿刻經文而得名，是研究書法和佛教歷史的天然寶庫，旁有石碑，記載北齊天統四年至武平三年(568-572年)唐邕寫《維摩詰經》等四部經書的經過。筆鋒犀利，遒勁挺拔。山上有天宮，山下有常樂寺廢址，遺存宋朝石經幢二座。前有古塔，平面八角形，高五層。但在每兩層之間各加砌仰蓮平座，故外形似九層，第五層塔內嵌有石碑一通，刻有“皇祐六年重修”字樣。此塔高聳，成為石窟的醒目標志。

　　鄉堂寺石窟在中國石窟藝術發展史上，有其獨特的位置。其前期是北魏造窟高峰；后期是隋唐造窟高峰。鄉堂山石窟上承云岡北魏時期中心塔柱式石窟的風格，又開隋唐三壁三龕式石窟的先河。石窟造像形象漸改北魏晚期清瘦俊秀、威嚴壯重特點，而變為豐圓飽滿，神情溫和，線條簡潔流暢，舒展自然，開盛唐造像形象豐碩之先范。可以說，鄉堂山石窟是兩種藝術風格連結點。