Né Arnold Guttmann, il a pris le nom 'Hajos' (marin en hongrois). Le 11 avril 1896 à Athènes, il remporta à seulement dix-huit ans  le 100 m nage libre, la première course de natation des Jeux Olympiques modernes. Le même jour, il remporte également le 1200 m nage libre.

"Le désir de survivre était plus fort que celui de gagner" furent ses premières paroles après sa victoire dans le 1200 mètres dans un eau qui ne dépassait pas les 10°C. Il a été le premier à gagner la côte depuis un bateau posté au milieu des eaux froides de la Méditerranée. Athlète polyvalent, il a été champion de Hongrie en athlétisme sur les 100 m, 400 m haies et le lancer du disque. Il a également joué dans l'équipe nationale de Hongrie de football et a été l'entraîneur de l'équipe nationale dans les années 1900.

Après sa carrière sportive, il est devenu architecte en Hongrie. On lui doit un certain nombre de stades, de piscines et d'écoles. Son frère Henrik Hajos a gagné le titre olympique en 1906 avec le relais 4 x 250 m.