Vroeger nam men aan dat hij de zoon is geweest van Dirk I en Geva. Tegenwoordig is men er welhaast zeker van dat er tussen Dirk I en Dirk II nog een graaf met de naam Dirk moet hebben bestaan. Gravin Geva zou dan de echtgenote van deze Dirk I bis geweest moeten zijn. In 938 vond de verloving van de nog erg jonge Dirk II plaats met Hildegard, de dochter van graaf Arnulf I van Vlaanderen. Kort hierna, op 2 of 5 oktober 939, sneuvelde zijn vader (of grootvader) Dirk I in de slag bij Andernach. Omdat Dirk II toen nog maar ongeveer acht jaar oud was, werd hij onder bescherming van zijn aanstaande schoonouders, vermoedelijk in de St. Pieterabdij te Gent, opgevoed. Dirk II moet ergens tussen 941 en 949 meerderjarig geworden zijn (vijftien jaar). Als één der eerste zaken regelde hij de bouw van een stenen klooster te Egmond. Dit diende ter vervanging van het houten klooster dat daar door zijn vader voor nonnen was gebouwd. Dirk II bevolkte dit klooster met monniken uit de St. Pietersabdij te Gent. Toen zijn verloofde Hildegard de leeftijd van 12 jaar had bereikt (omstreeks 950) trad hij met haar in het huwelijk. Uit het huwelijk werden in ieder geval drie kinderen geboren, Arnulf, die hem later als Graaf opvolgde, Egbert, die later aartsbisschop van Trier werd, en een dochter Erlindis. Zijn zoon Arnulf werd te Gent geboren (hij werd daarom ook wel Arnulf Gandensis genoemd).
Dirk II had veel invloed, ook te Vlaanderen. Na het overlijden van zijn schoonvader Arnulf, op 27 maart 965, trad hij enige tijd op als voogd voor diens opvolger, de minderjarige Arnulf II van Vlaanderen. Hij bezette van 965 tot 988 het graafschap Gent waardoor hij naast leenman van Otto I ook leenman van de Franse koning Lotharius werd. Toen Otto II met Lotharius brak koos Dirk II voor Otto. Zijn zoon en opvolger Arnulf werd in 981 met 12 ruiters met de Duitse keizer meegezonden op diens tocht naar Italië. Zijn andere zoon Egbert kreeg zijn opleiding bij de broer van de Duitse keizer, Bruno van Keulen. In 976 werd zoon Egbert kanselier van de Duise keizer en in 977 werd hij nog zeer jong aartsbisschop van Trier. Toen de Duitse keizer in 983 overleed ontbrandde er een troonstrijd. Aanvankelijk steunde Dirk de Hertog van Beieren tegen diens jonge neef Otto, maar toen die zich in 985 ten gunste van deze Otto terugtrok, erkende Dirk II deze Otto III toch. Als dank ontving Dirk II goederen en inkomsten in het Maasland (tussen Lier en IJssel), in Kennemerland en op Texel.
