Vypracoval novú koncepciu, podľa ktorej sa počítač skladá z niekoľkých základných funkčných častí. Podľa tejto koncepcie sa program ukladá spolu s datami do pamäte a vykonáva sa postupne tak, ako je v pamäti uložený. Neumann presadil v počítačoch používanie dvojkovej číselnej sústavy. Podľa neho sa dnes konštruuje väčšina počítačov, o čom budeme hovoriť neskôr.

Počítače MARK I. a ENIAC vytvorené počas 2. svetovej vojny boli vytvorené na báze elektróniek. Tieto počítače tvorili prvú generáciu počítačov. Programy pre tieto počítače boli napísané v strojovom jazyku.
Objavením tranzistora v roku 1948 boli postupne elektrónkové počítače nahradené novou generáciou počítačov. Tranzistory sa stali základným konštrukčným prvkom počítačov druhej generácie počítačov (1959). Programy boli písané v rôznych symbolických jazykoch. Tieto počítače sa využívali hlavne na spracovananie úloh v dávkach a to najmä pri spracovaní vedecko-technických výpočtov a hromadných údajov.
Ďalším vývojom techniky boli postupne počítače predchádzajúcich generácií nahradené výkonnejšími počítačmi tretej generácie, ktoré ako základný stavebný prvok používali integrované obvody - čipy (1965). Jeden integrovaný obvod nahradil viac ako 10 000 tranzistorov, a preto sa výrazne zmenšili rozmery počítačov. Tento proces označujeme ako miniaturizácia počítačov. Počítač obsahujúci integrované obvody bol napríklad v americkom module, ktorý prvýkrát v roku l962 pristál s ľudmi na Mesiaci.
Dosiaľ posledným významným prvkom, ktorý určuje kvalitu počítača, je mikroprocesor. Je to typ integrovaného obvodu, ktorý je naviac programovateľný. Firma INTEL položila v roku 1979 základy počítačov štvrtej generácie. Mikroprocesor tejto firmy označený ako INTEL 8088 obsahoval 29 000 tranzistorov. Najčerstvejšou novinkou je mikroprocesor PENTIUM, ktorý obsahuje viac ako 3,1 milióna tranzistorov.
Obdobie od začiatku 90. rokov využíva u počítačov obvody s vysokým stupňom integrácie a viac procesorov na l čipe. Klasická von Neumannova štruktúra počítača sa priblížila hraniciam svojich možností a dnes nastupuje jej protiklad - paralelný počítač. Paralelný počítač je ešte stále veľmi drahá záležitosť. Je vhodný najmä vtedy, keď je rozhodujúcim faktorom rýchlosť (napr. v kozmonautike, vojenstve a v riadicich aplikáciách). Paralelné počítače majú rôzne koncepcie. Takto pracuje napríklad superpočítač CRAY-1.
So zmenou technológie výroby procesorov sa zmenšovali rozmery počítačov a rástla ich operačná rýchlosť.