V mnohých prípadoch sa pletie Olympia s Olympom. Hora Olymp(os) leží na severe starovekého Grécka, na hranici z Macedóniou, zatiaľ čo Olympia na severozápade Peloponézu. Podľa tradície na Olympe sídlili hlavní grécki bohovia a v Olympii sa pôvodne uctievala bohyňa zeme Gaia, neskôr hlavne najvyšší boh Zeus, ale najstarší v Olympii zistený chrám bol zasvätený Hére.
Hry založil vraj Hérakles po návrate Argonautou z Kolchidy, aby sa na nich schádzali na preteky zdatnosti a upevňovania priateľských vzťahov. Podľa inej verzie ich založil na počesť svojho víťazstva nad kráľom Augeiom. Podľa ďalšej ich založil Héraklov potomok Oxylos. Za zakladateľa považujú mýty aj dobyvateľa Peloponézu Pelopa, syna kráľa Tantala. Podľa archeologických nálezov Olympia existovala ako kultové stredisko už od Mykénskych čias.