江戸時代（延宝八年）に書かれた「西楽寺記」によると、今から約1,300年程前に聖武天皇が行基に命じて開かせたとあります。多くのお堂や塔が立ち並び最盛期には附属の小さなお寺が十二坊もあったようですが、度重なる火災や戦争で焼けてしまい江戸時代には八坊と少なくなっています。しかし、天文十二（1,543）年には駿河の今川義元から九町七反が、天正十八（1,590）年には豊臣秀吉から一七〇石が安堵されました。また、室町時代には今川氏の祈願所として、江戸時代には遠州地方の真言宗の総本山となり、幕末には有栖川宮家の祈願所になっています。現在の本堂は享保年間（1,716～1,735）に入母屋造柿葺の禅宗様式で建築されました。昭和五五年に静岡県指定の文化財に指定され、平成三年から解体修理が行われ創建当初の姿に蘇っています。