Während der Diskussion über die Abhaltung der III. Olympiade beschloss das Internationale Olympische Komitee, diese auf dem Territorium der Vereinigten Staaten zu organisieren, da dieses Land bei den beiden vorherigen Spielen gute Ergebnisse erzielte. Ursprünglich wollten sie die Olympischen Spiele in Chicago oder New York ausrichten, doch dann fiel die Wahl auf die kleine Hafenstadt St. Louis.
Die III. Olympiade in St. Louis fand zusammen mit den Olympischen Spielen in Paris im Rahmen der Weltausstellung statt. Die lokale Leitung der Messe betrachtete sie jedoch nicht als Konkurrenz, sondern versuchte im Gegenteil auf jede erdenkliche Weise, die Spiele für eigene Werbezwecke zu nutzen. Darüber hinaus wiederholten die Organisatoren einige Fehler der Olympischen Sommerspiele 1900 in Paris. Durch die Verbundenheit mit der Weltausstellung wurden die Wettkämpfe in den Hintergrund gedrängt und die Olympiade selbst dauerte fast 5 Monate (1. Juli - 23. November 1904). Viele Wettbewerbe wurden unter der Leitung verschiedener Berufsorganisationen ausgetragen, trotzdem wurden sie alle mit dem Titel olympische Disziplinen ausgezeichnet.
Nach Angaben des IOC nahmen 12 Länder an den St. Louis Summer Games teil. Der einzige Staat, der zum ersten Mal an dem Wettbewerb teilnahm, war Südafrika. Im Vergleich zu den Olympischen Spielen in Paris ist die Zahl der teilnehmenden Länder dramatisch zurückgegangen. Die 13 Staaten, die an den Pariser Sommerspielen teilnahmen, konnten aus wirtschaftlichen Gründen nicht nach St. Louis kommen. Russland, das sich zu dieser Zeit mit Japan im Krieg befand, nahm nicht an dem Wettbewerb teil.
An den III. Olympischen Sommerspielen nahmen insgesamt 651 Personen teil, darunter 6 Frauen. Sie kämpften um 94 Auszeichnungen in 18 Sportarten. Am zahlreichsten war die Mannschaft der Vereinigten Staaten von Amerika, die 533 Personen bei den Spielen vertrat. In vielen Sportarten (Boxen, Ringen, Wasserball, Bogenschießen und Tennis) traten nur amerikanische Athleten auf, so dass die Spiele die Überlegenheit des Landes deutlich demonstrierten.
In St. Louis begannen sie zum ersten Mal, die drei, nicht die zwei Athleten, die das beste Ergebnis zeigten, zu prämieren. Der Hauptgewinner des Wettbewerbs wurde mit einer Goldmedaille ausgezeichnet; der Athlet, der den zweiten Platz belegte - Silber; und der dritte Platz wurde mit einer Bronzemedaille ausgezeichnet. Diese Tradition hat sich bis heute erhalten.
In der inoffiziellen Mannschaftswertung wurden die teilnehmenden Länder wie folgt positioniert: I. Platz - USA (78 Gold, 82 Silber, 78 Bronze), II. - Deutschland (4 Gold, 4 Silber, 5 Bronze), III. Platz - Kuba (4 Gold-, 2 Silber-, 3 Bronzemedaillen).
