Vedci na celom svete začali vyvíjať snahu, aby identifikovali aj iné častice, ktoré by sa zároveň s elektrónmi mohli vyskytovať vo vnútri atómu. Začali sa zamýšľať nad tým, o akú štruktúru by mohlo ísť. Jednou z predstav bolo, že záporne nabité elektróny sa zrejme v každom atóme pohybujú okolo jadra, ktoré je nabité kladne, takže dva opačne nabité elektrické náboje sa navzájom priťahujú a tak držia atóm pohromade.
Rutherford túto predstavu rozšíril ďalej. V rámci svojej bádateľskej činnosti dokázal, že energia vyžarovaná rádioaktívnymi látkami má tri odlišné formy. V sérii pokusov zistil, že určitá časť energie dokáže preniknúť tenkou prekážkou z ťažkého kovu a časť energie to nedokáže. Okrem toho tá časť energie, ktorá prenikla tenkou prekážkou, bola zachytená silnejšou prekážkou. Ukázalo sa, že ostatná časť energie prenikala akoukoľvek veľkou prekážkou. Lúče, ktoré sa odrazili naspäť už od najtenšej prekážky, boli označené ako lúče alfa. Ako lúče beta boli označené, tie ktoré sa odrazili od druhej prekážky a ako lúče gama boli označené tie, ktoré prenikli obidvoma prekážkami.
Rutherford bol skoro schopný konštatovať o časticiach alfa dve základné veci. Zo spôsobu akým boli tieto častice vychyľované magnetickým poľom, dokázal zistiť za prvé, že sú kladne nabité, a za druhé, že majú presne takú hmotnosť ako jadro hélia. Rutherford sa potom pokúsil bombardovať kúsok tenkej zlatej fólie časticami alfa, predpokladajúc, že sa dozvie niečo nového zo spôsobu, akým sa budú tieto častice od prekážky odrážať. Zlatú fóliu umiestnil so valcovitej nádoby obloženej z vnútornej strany fotograficky citlivým papierom. Papier po vyvolaní ukázal smery, ktorými boli častice od zlatej fólie odrazené. Rutherford tak mohol uskutočniť mikroskopické pozorovanie častíc odrážajúcich sa do rôznych smerov vďaka scintilácie alebo nepatrnému záblesku svetla, ktoré každá častica vytvorila, keď sa odrazila od zlatej fólie. Toto svetlo sa pohybovalo smerom k stenám valca, kde bolo zachytené na fotografický papier. K veľkému prekvapeniu sa Rutherfordovi zdalo, že niektoré častice boli po odrazení od zlatej fólie vychyľované pod veľkým uhlom. Rutherford logicky usúdil, že to mohlo byť spôsobené len nejakou priamou odpudivou silou kladne nabitou časticou alfa a kladne nabitým jadrom atómu zlatej fólie. Aby jadro mohlo takto pôsobiť musí existovať medzi ním a elektrónmi voľný priestor. Elektróny musia preto okolo jadra obiehať v určitej vzdialenosti. Rutherford tak štúdiom pohybu častíc alfa odhalil štruktúru atómu, ktoré sú tvorené veľmi malým jadrom s kladným elektrický nábojom a vôkol neho obiehajúcich záporne nabitých elektrónov.
