当寺は、旧寺名を穴師(子)寺といい、寺史には白鳳二年(673)藤原鎌足公有縁の草創という説と、白鳳九年(680)に鎌足公の一子、不比等公が開山したという二つの説が伝わっています。『金剛座寺略縁起』によると讃岐の四国八十六番札所 志度寺の別当寺として十一面観音をご本尊としておりましたが、持統七年(693)頃に不比等公が、内妻の菩提寺とすべく行基菩薩刻彫の如意輪観音を志度寺から遷座し、行基菩薩開眼のうえ本尊にしたと伝えられております。
この寺史には、志度寺の縁起である謡曲でも有名な『海女の玉取り伝説』を寺史に付加させており、当地の佐奈の地名が『古事記』に登場するほど、神祇職であった中臣一族と関係の深い地域であることから、当寺は志度寺と親交のあった中臣氏との関係を伺わせることができます。
また山頂には式内穴師神社跡があることから、大和の穴師坐兵主(あなしにましますひょうず)神社から移住した氏族の菩提寺として草創されたと考えられており、天暦七年(953)の公文書『近長谷寺資財帳』に穴師寺の寺名が登場、また延喜五年(905)の『延喜式神名帳』伊勢国の項に穴師神社の社名が見えることから、寺史の真偽は別にしても相当古い歴史を持つ寺社であることがわかります。
一説には『古事記』に記載されている佐那(佐奈)に座(ましま)す天手力男命(あめのたぢからをのみこと)は佐那神社に祭祀されておりますが、本来佐那神社は里宮で、当寺のある金剛山は天手力男命の神体山ではないかと見られています。「金剛座」の名称は、普通、釈尊成道の座を意味しますが、神仏習合による本地垂迹説から考えれば、天手力男命の本地仏として金剛力士を考えると、金剛(力士)の座す寺と名付けたとも考えられます。
佐奈から移住したと伝わる松阪市穴師神社の氏族に『ヨイヨイ神事』の祭が伝承されていますが、明治頃まで祭に使う御幣を金剛座寺から授かっており、それを「天手力男命をお迎えする」といっていたことからも伺えます。伊勢神宮と関係が深かった佐奈にとって、金剛山山頂から伊勢神宮の森を拝することができるのも、信仰的に大切な山であったことが容易に考えられ、歴史的に重要な史跡であるといえます。
寺史にはその後、仏土寺(仏土山普賢寺)・戒光寺・継松寺・霊ケウ寺・南寺・北ノ坊・東ノ坊を有するまで発展したが、永享四年の地震による損壊、応仁二年、永正三年の兵火、天正年中の織田氏兵により焼失等、すべての古文書等悉く灰燼し、復興以前の寺史の詳細が不明となってしまっています。その後、この地を配下においた、北畠利貞氏や蒲生氏郷氏、藤堂高虎氏、紀州徳川氏より寄付高を賜っております。
現在の本堂は、寛永十七年(1640) に、度会郡國束寺の僧であった良珠上人が入山して復興しました。本堂復興の費用は、当時江戸の貿易で莫大な資産を築いた相可の大和屋が寄進をしました。その後、紀州徳川家の菩提寺としての庇護も受け、特に紀州藩主徳川治寶公からは藤原鎌足公所有と伝わる寺宝の笙を献上し、一行書を賜っております。
江戸後期には、伊勢観音巡礼の第十番札所の霊場として栄え、八月八日の縁日『夜観音(よかんのん)』には大変な賑わいでした。特に女性に縁ある仏から、本尊真下の本堂の『お砂』をお守りとして身に付けると、婦人病・子授かりにご利益ありと信仰を集めました。
明治および戦後は、紀州藩や大和屋の外護者の喪失、神仏分離令による影響、農地解放による土地の取り上げなど、苦難な寺院運営が続きました。戦後、住職である広橋貫廣大僧正は、孤児の施設『富士見台学園』を開設(後『障害者更生施設』)し、福祉運動に力をそそぎました。また、旧友の叡南祖賢大僧正の開いた修験道法流(叡山回峰行の祖、相応和尚を開基とする)に賛同し、修験道法流を地域寺院に広めました。
貫廣住職逝去後、無住寺となり他寺住職の兼務となりましたが、平成八年檀徒であった染川智勇上人が得度入山、第十七世住職となり金剛座寺の法灯護持に務めております。