L'Aarhus Gymnastikforening, anche conosciuto come AGF Aarhus, viene fondato nel 1880, mentre nel 1902 viene aggiunta la sezione calcistica. Questa partecipa al campionato danese raggiungendo per tre volte la finale nazionale negli anni venti, ma venendo qui sconfitto da AB, Frem e KB.
L'AGF ottiene i primi successi negli anni cinquanta: guidato dall'unghereseGéza Toldi la squadra vince il primo titolo nella stagione 1954-1955, e si ripete nella stagione successiva; nella prima stagione ottiene un double. In virtù delle vittorie in campionato partecipa a due edizioni della Coppa dei Campioni, ma senza mai superare il primo turno. Il terzo titolo danese arriva nella stagione 1956-1957, sotto la guida di Peter Vesterbak, che conquista il secondo double. Nel turno preliminare della Coppa dei Campioni 1957-1958 l'AGF riesce ad eliminare i nord-irlandesi del Glenavon, ma deve interrompere il proprio cammino negli ottavi della manifestazione, dopo aver incontrato il Siviglia.
Gli anni sessanta si aprono con il quarto titolo e con il terzo double, sempre sotto la guida di Toldi nel frattempo tornato sulla panchina del club; l'AGF partecipa alla Coppa dei Campioni 1960-1961 e, dopo aver eliminato Legia Varsavia e Fredrikstad viene eliminato nei quarti dai futuri vincitori del Benfica. Nel resto del decennio la squadra conquista altre due coppe nazionali nel 1961 e nel 1965, ma retrocede al termine del campionato 1968.
Gli anni settanta non sono un buon periodo per l'AGF: la squadra li trascorre tra la prima e la seconda divisione. Un solo acuto nel campionato 1978, quando l'AGF si classifica al terzo posto, e può partecipare per la prima volta alla Coppa UEFA; il Bayern Monaco elimina però i danesi nei sedicesimi.
Gli anni ottanta si aprono con l'elezione di Lars Bastrup a calciatore danese dell'anno nel 1980; per il resto l'AGF conquista dei buoni piazzamenti in campionato, fino al 1986 quando, allenata da Jürgen Wähling, conquista il quinto titolo. I danesi raggiungono gli ottavi di finale nella successiva Coppa dei Campioni, ma vengono nuovamente eliminati dal Benfica. Prima della fine del decennio l'AGF vince altre due coppe nazionali nel 1987 e nel 1988. Grazie a quest'ultimo successo partecipa alla Coppa delle Coppe 1988-1989, e raggiunge i quarti di finale; viene qui eliminato dai futuri vincitori del trofeo, gli spagnoli del Barcellona.
Il club conquista negli anni novanta due coppe nazionali nel 1992 e nel 1996, arrivando ad essere la squadra più vincente nella manifestazione con nove trofei in totale; nella stagione 1995-1996 il club ottiene anche un buon secondo posto in Superliga.