Il remporta comme son co-équipier Lloyd Spooner un record de sept médailles (5 d'or, 1 d'argent et 1 de bronze) aux Jeux Olympiques d'Anvers en 1920, toutes par équipes, notamment au fusil de guerre.

Ce record de sept médailles remportées lors d'une seule Olympiade a été un fait inédit dans l'histoire olympique jusqu'au Jeux de 1960 pendant lesquels le grand gymnaste russe, Boris Shaklin a également atteint le cap des sept médailles. La barre des huit médailles fut atteinte qu'en 1980 réussie par un autre gymnaste légendaire, le Russe Alexander Dityatin.

Lee a été Vice-Amiral dans la marine des Etats-Unis, responsable de la flotte américaine pendant la bataille de Guadalcanal dans le Pacific menée contre les Japonais pendant la Deuxième Guerre Mondiale (aôut 14-15, 1942).