Van Gundy ha iniziato la sua carriera da allenatore a Rochester, New York alla McQuaid Jesuit High School. L'anno seguente è divenuto assistente sotto Rick Pitino al Providence College, aiutandolo ad arrivare alle Final Four. Nel secondo anno passato a Providence, è stato promosso assistent coach sotto gli ordini di Gordon Chiesa ma è passato subito dopo per una stagione alla Rutgers University come vice di Bob Wenzel.
Dall'8 marzo 1996 fino alle dimissioni date l'8 dicembre 2001, Van Gundy è stato head coach dei New York Knicks guidandoli per ben 6 volte ai play-off, inclusa un'apparizione alle NBA Finals del 1999. Jeff è il fratello del ex coach degli Orlando MagicStan Van Gundy.
Il 18 maggio 2007, Van Gundy si è dimesso da coach degli Houston Rockets dopo aver perso al primo turno dei play-off in gara-7 contro gli Utah Jazz. Da quella notte, Van Gundy è diventato commentatore e analista per ESPN proprio nella gara che ha visto di fronte Utah Jazz e San Antonio Spurs giocata a San Antonio, Texas ed ha proseguito così la sua collaborazione con ESPN per tutta la durata dei play-off NBA 2006-07.
Il suo commento per la ESPN è stato pubblicamente apprezzato da tutti i grandi esperti di basket Americano.
Van Gundy è stato protagonista di una scena memorabile durante i play-off NBA del 1998 tra i New York Knicks e i Miami Heat. Quando il giocatore di Miami Alonzo Mourning e quello dei Knicks Larry Johnson dettero vita a una rissa fra le panchine, Van Gundy tentò di fermarli ma sfortunatamente i due proseguirono per la loro strada e Jeff rimase inesorabilmente aggrappato ad una gamba di Alonzo Mourning trascinandolo per il campo di gioco. Questa è diventata la scena madre che fa pensare alla grande rivalità tra le due franchigie. Van Gundy dovette ricorrere a due punti di sutura a causa di una ferita riportata sulla fronte.
Durante i play-off NBA del 1999 si parlava molto di un possibile allontanamento di Van Gundy da coach dei New York Knicks e si diceva che presto sarebbe stato rimpiazzato dall'ex coach dei Chicago Bulls e dei Los Angeles Lakers, Phil Jackson. Proprio in quell'anno portò i Knicks, che erano l'ottava testa di serie, alle Finali NBA
Nel 2001, in una gara dei San Antonio Spurs, Danny Ferry dette una gomitata a Marcus Camby. Mentre parlava con l'arbitro Camby perse la testa e decise di dare un pugno a Ferry. Camby però prese in pieno volto Van Gundy che nel frattempo si era frapposto fra i due per cercare di frenare la rissa. Questo gli provocò delle ferite e un'emorragia molto grave sulla parte sinistra del volto.
Nel maggio del 2005, fu multato per 100.000 dollari dalla NBA per le accuse fatte al proprietario dei Dallas Mavericks, Mark Cuban, riguardo alle presunte pressioni fatte al centro dei Rockets Yao Ming. Questa è stata al momento la più alta multa inflitta ad un allenatore NBA.
In un episodio di "Law & Order", il detective Briscoe (Jerry Orbach) dice che il sospettato era "intimidatorio come Jeff Van Gundy."
Stati Uniti
Boston Celtics
N.Y. Knicks
Houston Rockets
Wikimedia Commons contiene immagini o altri file su Jeff Van Gundy
