金剛寺位于城東1.5公里的寨子山麓。明萬歷三十二年，由延綏鎮總兵杜文煥創建。寺坐南向北，總占地5500平方米。三教殿院落為寺主體建筑。三教殿和過殿均上下兩層，底層均為磚砌五樓一枕通券洞，外接斗拱飛檐明廊建筑，上層為磚木結構樓閣。三教殿內供老子、釋迦、孔子，合三教于一體。寺內環境優美，廣植牡丹、芍藥、偷閑、丁香等名貴花卉。山門石階下一清泉流瀉而過，環抱寺院左右山梁，山廓布滿桃樹。

　　1937年抗戰爆發后，鄧寶珊將軍任晉、陜、綏邊區總司令進駐榆林時即居此寺。后緊靠寺西辟筑密屋一院，額稱”桃林山莊”，所刻字跡乃依于右任手書鐫成。