Hoover pracoval na DOJ od roku 1917.
Po smrti prezidenta Hardinga v roku 1923, jeho nástupca Calvin Coolidge, vymenoval za nového generálneho prokurátora Harlana Fiske Stonea. Ten 10. mája 1924 vybral za nového šéfa Úradu pre vyšetrovanie J. Edgar Hoovera. Jeho nástupom sa v Úrade začala nová éra, ktorej dôsledky pretrvávajú aj v dnešnej FBI.

V čase jeho nástupu pracovalo v Úrade 650 zamestnancov, z toho 441 agentov. Okamžite po svojom nástupe vyhodil tých agentov, ktorých považoval za nekvalifikovaných. Novo prijímaní ageni museli mať 25 až 35 rokov a právnické alebo účtovnícke vzdelanie. V roku 1928 zaviedol pre nových agentov praktické a teoretické tréningové kurzy. V roku 1924 vzniká v rámci Úradu Identifikačné oddelenie.

Krach newyorskej burzy 25. 10. 1929 a následná veľká hospodárska kríza znamenala pre USA nárast kriminality. Úrad mal však stále oklieštené právomoci, preto Kongres v roku 1932 presadil tzv. Federal kidnapping statute a v máji a júni 1934 ďalšie federálne zákony. Agentom umožnil Kongres nosiť zbraň a zatýkať. V roku 1932 bolo založené Technické laboratórium. Dňa 22. 3. 1935 prezident USA schvaľuje zmenu názvu Úradu na Federal Bureau of Investigation (FBI). Tento názov je na verejnosti po prvýkrát použitý 1. 7. 1935.
29. 7. 1935 bola založená Národná akadémia FBI, kde sa v moderných vyšetrovacích metódach trénovali policajní dôstojníci po celých Spojených štátoch.

S vypuknutím Druhej svetovej vojny sa okruh právomocí FBI značne rozšíril. Pozornosť sa sústreďovala hlavne na podvratnú činnosť, sabotáže a špionáž. FBI vyvinula sieť informátorov, ktorá väčšinou pozostávala z členov rôznych bratstiev a organizácií veteránov. Pomocou týchto sietí agenti pátrali po potenciálnych ohrozeniach národnej bezpečnosti.
Ešte pred vstupom USA do vojny odhalila FBI sieť nemeckých agentov pod vedením Fredericka Duquesne. K odhaleniu siete a následnému zatknutiu 33 agentov pomohol FBI američan s nemeckými príbuznými, ktorý zohral úlohu dvojitého agenta.
V júni 1942 zabránila FBI akcii s krycím názvom Pastorius. Dve nemecké ponorky vysadili ôsmich nemeckých sabotérov, štyroch na Floride a štyroch na Long Islande v štáte New York. Pobrežná stráž si všimla newyorskú skupinu a upozornila FBI. Sabotérov sa podarili chytiť aj za pomoci jedného z nich, Georga Dascha, ktorý z obavy pred dolapením začal spolupracovať s FBI. Šesť sabotérov odsúdili a popravili, Dascha a jedného uväznili a po vojne poslali domov. Počas vojny narástol počet agentov zo 7500 na viac ako 13000, vrátane 4000 agentov.
Za zmienku z tohto obdobia ešte stojí vytvorenie Special Intelligence Service v Latinskej Amerike.