Bekannt wurde Olaf Thon im Mai 1984 durch das DFB-Pokal-Halbfinale zwischen Schalke und Bayern, in dem Thon als gerade Achtzehnjähriger drei Tore erzielte. Das Spiel endete 6:6 nach Verlängerung. Olaf Thon traf kurz vor Spielende nach einem Freistoß zum Ausgleich. Am 24. August 1984 gab der damals 18-Jährige sein Debüt in Deutschlands höchster Spielklasse. Noch im selben Jahr wurde er das erste Mal von Franz Beckenbauer für die deutsche Auswahl berufen.
Er trug zwischen 1984 und 1998 52 Mal das Trikot der Nationalmannschaft. Sein Debüt gab er am 16. Dezember 1984 gegen Malta. Er war damit drittjüngster Nationalspieler der Geschichte mit 18 Jahren und 229 Tagen. 14 Jahre später, am 25. Juni 1998, absolvierte er sein letztes Spiel für die deutsche Auswahl. Er nahm an den Fußballweltmeisterschaften 1986, 1990 und 1998 teil.
Im Sommer 1988 wechselte Olaf Thon zum FC Bayern München. Schnell wurde er auch dort Leistungsträger und Stammspieler. Seine Spielweise änderte sich im Laufe der Zeit und der damalige Trainer der Bayern, Erich Ribbek, beorderte ihn immer öfter ins Abwehrzentrum. Mit den Münchnern wurde er 1989, 1990 und 1994 Deutscher Meister. Nachdem er in der Saison 1993/ 94 nur noch 15 Mal eingesetzt wurde, wechselte er zur Folgesaison wieder nach Gelsenkirchen. Mit Schalke sorgte er 1997 für Schlagzeilen, als die Mannschaft den UEFA-Pokal gewinnen konnte. 2001 und 2002 wurde er DFB-Pokalsieger.