Le premier compilateur, A-0 System (pour le langage A-0) est écrit par Grace Hopper, en 1952. L’équipe FORTRAN dirigée par John Backus d’IBM est considérée comme ayant développé le premier compilateur complet, en 1957.
Vers la fin des années 1950, des langages de programmation indépendants des machines font pour la première fois leur apparition. Par la suite, plusieurs compilateurs expérimentaux sont développés.
Les logiciels des premiers ordinateurs étaient écrits en langage assembleur. Les langages de programmation de plus haut niveau (dans les couches d’abstraction) n’ont été inventés que lorsque les avantages apportés par la possibilité de réutiliser le logiciel sur différents types de processeurs sont devenus plus importants que le coût de l’écriture d’un compilateur.