Après avoir étudié dans les meilleures universités (Yale, Harvard Law School et Oxford), il a réussi l'exploit unique de remporter le titre olympique à la fois aux Jeux d'été et aux Jeux d'hiver. Il fut médaille d'or en bob à 4 au J.O. de 1932 avec l'équipe menée par Billy Fiske , après avoir été douze avant champion olympique de boxe chez les mi-lourds en 1920 en battant le Norvégien Sverre Sörsdal.

Il a aussi participé aux Jeux Olympiques de 1924 à Paris et est devenu le premier Américain à remporter le championnat amateur de Grande-Bretagne.