Pamäťové bunky boli oveľa rýchlejšie a spoľahlivejšie ako tie, ktoré sa používali v prvej generácii. Jeden z prvých typov elektronického ukladania dát bol založený na malom magnete okrúhleho tvaru, nazývaného ferit (core). Feritová pamäť bola rýchlejšia a viac spoľahlivejšia ako bubnová pamäť používaná v počítačoch prvej generácie. Počítače druhej generácie sa vyznačovali využívaním feritovej pamäte.
Ďalší dôležitý rozdiel bol v zavedení nezávislých off-line zariadení. Nemali trvalú komunikáciu s počítačom, ale boli k dispozícii, keď ich počítač potreboval. Napríklad keď počítač potreboval dáta z čítača diernych štítkov, čítač bol aktivovaný, dáta prečítal do počítača, a potom ostal v nečinnosti, až kým počítač nepotreboval opäť dáta. Dáta mohli byť poslané do nezávislej tlačiarne, a počítač mohol opäť začať spracúvať ďalšiu skupinu dát.
Jedným z off-line médií bola magnetická páska. Eckert a Mauchly vyvinuli tento typ média pre počítače prvej generácie, ale počítače druhej generácie boli prvé, ktoré to využívali vo veľkom rozsahu. Počítače mohli posielať informácie na pásky, na ktorých sa informácie ukladali a neskôr sa mohli vložiť z pásky späť do počítača. Vloženie bolo oveľa rýchlejšie s magnetickými páskami ako so štítkami. Informácie vkladané cez dierne štítky mohli byť vkladané 130 znakov za sekundu, počítač používajúci magnetickú pásku mohol čítať viac ako 6500 znakov za sekundu.
Ďalší pokrok začal počas druhej generácie a ešte dnes zaujímavý bol vývoj magnetického disku. Spracovanie magnetickej pásky bolo pomalšie, pretože na obnovenie informácií magnetickej pásky počítač musel čítať pásku postupne (sekvenčne). Počítač číta pásky zo začiatku pásky až po miesto, kde boli informácie uložené. S diskami počítač mohol pristupovať k žiadúcim informáciám priamo, tak disk mohol oveľa rýchlejšie pracovať. Druhá generácia počítačového softwaru
Počas druhej generácie počítačov sa začali vyvíjať programovacie jazyky. Programovacie jazyky hovoria počítaču čo robiť v jazyku, ktorý sa veľmi podobá hovorenému jazyku. Programovacie jazyky majú vysvetľovať ľuďom, kým počítačový jazyk má vysvetľovať len počítaču. Programovacie jazyky počítače prekladajú do binárneho kódu cez špeciálne programy nazývané prekladače. Prekladač je program, ktorý prekladá inštrukcie napísané v programovacom jazyku na príkazy priamo zrozumiteľné počítaču. Hlavné výhody programovacích jazykov sú, že programy sa ľahšie píšu a tiež pomáhajú redukovať programovacie chyby. Počítačový jazyk, ktorý je používaný v obchodnom styku, je často odlišný od počítačového jazyka používaného vedcami.