Louis Ellison és Serita Rosenthal második gyermekeként született 1934-ben. Testvére, Beverly 1928-ban született. Az egyetlen zsidó család volt a környéken, ezért gyerekkorában sok megaláztatást kellett elviselnie. Harlan tizenhárom éves korában megszökött otthonról, és egy utazócirkuszhoz csatlakozott. A következő hat évben volt favágó, halász, színész, sőt még dinamitszállító teherautó vezetője is.
Később az Ohiói Egyetem hallgatója lett, amit ott kellett hagynia – mert megütötte egy tanárát, aki azt mondta róla, hogy tehetségtelen. New Yorkba költözött, hogy író legyen. Besorozták és a seregben fejezte be első regényét, a Web of the Cityt.
Disszonáns erőszakos írások születtek tollából. Ez a stílus az 1969-ben írt A fiú és kutyája(A Boy and His Dog) című novellájában csúcsosodott ki. Igen termékeny író – több mint 1000 novellát írt. Ezenkívül számtalan esszé és jó pár forgatókönyv is fűződik a nevéhez.
Nyolc Hugo-díjat nyert sci-fi regényeiért, két Nebulát, egy Edgart az Amerikai Horrorírók Szövetségétől és háromszor nyerte el a legjobb tévé-forgatókönyvért járó Writers Guild of America-díjat.