金剛寺位于城東1.5公里的寨子山麓。明萬歷三十二年，由延綏鎮(zhèn)總兵杜文煥創(chuàng)建。寺坐南向北，總占地5500平方米。三教殿院落為寺主體建筑。三教殿和過殿均上下兩層，底層均為磚砌五樓一枕通券洞，外接斗拱飛檐明廊建筑，上層為磚木結(jié)構(gòu)樓閣。三教殿內(nèi)供老子、釋迦、孔子，合三教于一體。寺內(nèi)環(huán)境優(yōu)美，廣植牡丹、芍藥、偷閑、丁香等名貴花卉。山門石階下一清泉流瀉而過，環(huán)抱寺院左右山梁，山廓布滿桃樹。

　　1937年抗戰(zhàn)爆發(fā)后，鄧寶珊將軍任晉、陜、綏邊區(qū)總司令進駐榆林時即居此寺。后緊靠寺西辟筑密屋一院，額稱”桃林山莊”，所刻字跡乃依于右任手書鐫成。