Pred 780 rokmi, roku 1224 založil nitriansky biskup Jakub benediktínske opátstvo na Skalke pri Trenčíne. Biskup Jakub patril medzi najvýznamnejších nitrianskych biskupov v stredoveku. Príkladne sa staral o majetky biskupstva, ktoré zväčšil, ale z nich aj časť vyčlenil na založenie nového benediktínskeho opátstva sv. Benedikta mučeníka na Skalke. bolo to miesto, na ktorom viedol tri roky, asi v rokoch 1031- -1034, pustovnícky život zoborský benediktín Benedikt, pomocník a žiak sv. Svorada-Ondreja, pustovníka na úpätí Zobora. po zavraždení zbojníkmi a nájdení jeho tela bol Benedikt slávnostne pochovaný po boku svojho vzoru Svorada-Ondreja v kapitulno-prepoštskom Chráme sv. Emeráma v Nitre. Na Skalke vznikol kostol, ktorého patrónom bol sv. Benedikt mučeník a Všetci svätí. Hoci treba pokladať za nepochybné, že tento kostol vznikol najneskôr koncom 11. stor., najstaršia zachovaná písomná hodnoverná správa o ňom je v metácii majetku Skala, čo patril Nitrianskemu biskupstvu; spomína sa to v listine nitrianskeho župana Tomáša asi z roku 1208.

Druhá hodnoverná písomná zmienka o tomto kostole je v zakladacej listine benediktínskeho opátstva na Skale z roku 1224, kde sa hovorí, že nitriansky biskup Jakub pri už jestvujúcom kostole sv. Benedikta a Všetkých svätých, nachádzajúceho sa v jaskyni, ktorá sa volá ľudovo Skala, na ktorého stenách ešte do týchto čias bolo vidno krv tohto mučeníka, po porade a súhlase bratov zriaďuje opátstvo podľa reguly sv. Benedikta. Jestvujú dve verzie zakladacej listiny benediktínskeho opátstva na Skalke. Druhá verzia sa hlási do roku 1220 a za svojho vydavateľa tiež označuje nitrianskeho biskupa Jakuba. Začiatkom 14. stor. patrilo opátstvo na Skalke do dŕžavy Matúša Čáka Trenčianskeho. Zo 14.-15. stor. poznáme mená niekoľkých opátov a zachovali sa aj doklady na majetkové spory opátstva. Zo zachovanej vizitácie opátstva z roku 1508 vyplýva, že bolo vo veľkom úpadku. Správcom tam bol vtedy Michal, 18-ročný syn Ladislava Rožona, ktorý nebol benediktínom, ale pripravoval sa na kňazskú dráhu. Okrem neho bol v kláštore Jakub, benediktín pochádzajúci z Viedne, a jeden cistercita, ktorý vizitátori vykázali z kláštora. Z bohoslužobných kníh skalského benediktínskeho opátstva sa zachoval len fragment antifonára z druhej polovice 14. stor., obsahujúci práve text podstatnej časti legendy o svätých Svoradovi-Ondrejovi a Benediktovi. V druhej štvrtine 16. stor. benediktínske opátstvo na Skalke úplne upadlo. Roku 1528 dal kráľ Ferdinand I. patronátne právo nad opátstvom nitrianskemu biskupovi Štefanovi Podmanickému a odvtedy prestalo benediktínske opátstvo na Skalke jestvovať. Majetky opátstva užívali príležitostne menovaní titulárni opáti.

Nitriansky biskup Jan Pusky 28. októbra 1644 daroval majetky opátstva Spoločnosti Ježišovej, trenčianskemu kolégiu jezuitov s tým, že ak by bola rehoľa zrušená, majetky sa majú vrátiť pôvodnému majiteľovi-nitrianskemu biskupovi.