Adeline Virginia Stephen nació el 25 de enero de 1882 en el seno de una familia culta y aristocrática, en una casona situada en una calle sin salida en Hyde Park Gate, en Londres.

Sus padres eran viudos con hijos antes de unir sus vidas. Su madre, Julia, se había casado con Herbert Duckworth, quien falleció en 1870 dejándola con tres hijos adolescentes: George, Stella y Gerald.

Su padre, sir Leslie Stephen, era novelista, historiador, ensayista y alpinista; en 1875 su esposa Harriet Marian murió y él se quedó con su hija Laura, quien sufría una enfermedad mental y vivió en sanatorios hasta su muerte. El destino unió a Julia y Leslie, quienes se casaron en 1878 y el 28 de mayo del año siguiente nació Vanessa. Le siguieron Thoby, en 1880; Virginia, en 1882, y Adrian, en 1883.

Destacado intelectual, creador y primer editor del Oxford Dictionary of National Biography, para Leslie la literatura era una influencia en su hogar, con asiduos ilustres visitantes, poetas y escritores. Además, Leslie les daba a leer novelas a sus hijos que luego comentaban entre todos, mientras que su madre enseñaba francés a los chicos. Los Stephen vivían bien y solían veranear