V miocéne dochádza k zdvihu jednotlivých pohorí Západných Karpát, na okrajoch ktorých vznikali rozsiahle zlomy. Takto sa vyzdvihli všetky jadrové pohoria, teda aj Jelenské vrchy (megaantiklinálne vykleňovanie) až ku koncu neogénu. Následne vznikla riečna sieť a v spolupráci s ostatnými exogénnymi faktormi sa formoval reliéf.
Obdobie kvartéru sa napriek svojmu krátkemu trvaniu javí ako veľmi dynamické, s intenzívnymi periodickými pohybmi poklesového a zdvihového charakteru a spolu s klímou sa rozhodujúcou mierou podieľali na vývoji súčasného geomorfologického charakteru územia. Kvartér Jelenských vrchov predstavujú fluviálne sedimenty, deluviálne hlinitokamenité sutiny, sedimenty náplavových kužeľov a travertíny.

3.2. Charakteristika hornín

Územie má zložitú geologicko-tektonickú stavbu, ktorá je výsledkom príkrovovej stavby jadrového pohoria alpinotypne zvrásneného. Májú charakter megaantiklinálnej hráste, v ktorej centrálnej časti sa nachádza eróziou obnažené kryštalické jadro (kryštalinikum). Je zložené z najstarších a najodolnejších hornín - žúl a kryštalických bridlíc. Nad ním ležia mladopaleozoické a mezozoické súbory hornín v autochtónnej pozícii zložené z druhohorných hornín - vápencov, dolomitov a slienovcov. Na geologickej stavbe sa ďalej podieľa aj jednotka vnútrokarpatského paleogénu (mapa 2).

3.2.1. Kryštalinikum

Kryštalinikum má v Jelenských vrchoch dvojaký vývoj a patrí dvom odlišným štruktúrnym jednotkám, východnej a západnej. Každá z nich má samostatnú tektonickú stavbu. Oddelené sú tektonickou líniou prvého rádu, ktorá prechádza medzi Balážmi a Bullami.
Západnú časť, zaberajúcu väčšinu územia Jelenských vrchov, predstavuje kryštalinikum krížňanského príkrovu (tzv. fatrikum). Táto jednotka sem bola presunutá v kriede cez už prítomný reliéf. Fatrikum tvoria ostrovy kryštalických bridlíc (polkanovský, balážsky a starohorský) bez výrazného zastúpenia granitoidov, obklopené mladším paleozoikom a mezozoikom (mapa 2).
Východnú časť, ktorá sa na území Jelenských vrchov vyskytuje len ostrovčekovito, buduje kryštalinikum tatranskej subdomény, mezozoickými jednotkami subtatranských príkrovov. Svojim vývojom a zastúpením patrí kryštaliniku ďumbierskej podzóny. Vyskytujú sa v ňom horniny ako v samostatných Nízkych Tatrách. Granitoidy sú zastúpené hlavne autometamorfovaným granitom prašivského typu a menej biotickým granodioritom ďumbierskeho typu. Metamorfity sú zastúpené najmä pararulami a migmatitmi.