张掖大佛寺源于汉晋，创于西夏，兴于元明，是古丝绸之路上的一座千年名刹。东晋时期，涅盘宗师昙无谶到河西走廊一带弘法，涅盘教义在张掖广为传播。
西夏时期，国师嵬咩在“迦叶如来寺”故址掘得古涅盘佛像，并在原址重修寺院，建大雄宝殿，塑涅盘佛像，形成大佛寺雏形。宋元之际，宋恭宗赵显降元后曾避祸大佛寺，元始祖忽必烈和元顺帝妥懽贴睦尔据传都出生在大佛寺，忽必烈的生母别吉太后死后曾奉安大佛寺。
明洪武、宣德、成化和万历时期对大佛寺进行了大规模的扩建和维修。当时的大佛寺主要建筑有前山门、牌楼、钟楼、东阳楼、西阳楼、金刚天王殿、卧佛殿、大乘殿、轮藏殿、弥陀千佛塔、后山门、内外圆殿、北庑、南庑及原迦叶如来寺遗存的建筑，仅东西中轴线上就有9座建筑，真正体现了“之尊”的皇家气魄。明正统年间，英宗朱祁镇将《大明三藏圣教北藏》(共收经1621部，6361卷)颁赐大佛寺。时任钦差镇守甘肃等处总兵、御马监兼尚宝监太监、鲁安公王贵以名贵绀青纸和金银粉书写600卷《大般若波罗蜜多经》一并入藏大佛寺。至此，大佛寺以大殿、大佛、大藏经名闻天下。
清康熙、雍正年间，张掖大佛寺虽屡有维修，但寺院已辉煌不再，开始走向衰败。著名诗僧卜舟于康熙末年重游大佛寺时感慨之余，写下了“那堪牲牧厂，驼马践苔斑”的诗句。
新中国成立后，特别是改革开发和西部大开放的实施，张掖大佛寺迎来了新的发展机遇期。为切实加强大佛寺保护，从1985年开始，原张掖市在大佛寺原址先后修复牌坊一座、钟鼓楼两座、山门一座、金塔殿一座、南北配殿各一座、大成殿一座、藏经殿一座，并修复了因地震损坏的土塔塔顶，使张掖大佛寺这座历经千年的西夏国寺，得以重现历史原貌。1986年，张掖市被国务院公布为历史文化名城，1996年和20xx年，张掖大佛寺先后被国务院公布为全国重点文物保护单位和AAAA 级旅游景区。