Boudewijn was graaf van Henegouwen van 1120 tot aan zijn dood. Als minderjarige zoon van Boudewijn III regeerde hij aanvankelijk (tot 1127) onder het regentschap van zijn moeder, Jolanda van Gelre.
In 1127 trouwde Boudewijn met Aleidis van Namen, dochter van graaf Godfried van Namen en van Ermesinde van Luxemburg. Daarbij werd overeengekomen dat indien het huis van Namen geen erfgenamen zou hebben, Boudewijn en Aleidis de Naamse goederen zouden erven. Ook in 1127 werd de Vlaamse graaf Karel de Goede vermoord. Boudewijn greep dit voorval aan om de aanspraken van zijn familie op Vlaanderen weer te doen gelden. Hij bezette Oudenaarde en Ninove. De koning van Frankrijk wees echter Willem Clito aan als graaf van Vlaanderen werd. Boudewijn kon niet anders doen dan de bezette gebieden te verwoesten en zich weer terug te trekken. Uiteindelijk wist Diederik van de Elzas graaf van Vlaanderen te worden. Boudewijn probeerde weer om Vlaanderen aan te vallen maar werd in 1128 verslagen door Diederik.
Diederik van de Elzas nam deel aan de tweede kruistocht en Boudewijn probeerde hiervan gebruik te maken door opnieuw Vlaanderen aan te vallen. Diederiks vrouw Sybille van Anjou wist echter stand te houden. Er volgende een paar jaar van verwoestingen en plundertochten. Na thuiskomst van Diederik werd in 1151 een vrede gesloten tussen Vlaanderen en Henegouwen en werd afgesproken dat die door een huwelijk zou worden bezegeld.
Boudewijn richtte zich nu op andere mogelijkheden om zijn bezit uit te breiden. In 1158 kocht hij Ath, in 1159 verwierf hij Chimay (stad) en in 1160 verwierf hij de burggraafschappen van Valenciennes en Ostrevent. Zijn zwager Hendrik I van Namen, die ook hertog van Luxemburg was, was kinderloos en benoemde Boudewijn in 1163 tot zijn erfgenaam als dat zo zou blijven - maar Hendrik zou in 1186, op 72-jarige leeftijd, nog een dochter krijgen.
In 1169 vond dan het huwelijk plaats tussen Boudewijns zoon Boudewijn V en Margaretha van de Elzas, die uiteindelijk erfgename van Vlaanderen zou worden. Boudewijn toonde de bruiloftsgasten in Le Quesnoy het paleis dat hij daar liet bouwen, toen de steiger bezweek waar het gezelschap op stond. De gasten waren allemaal lichtgewond maar Boudewijn zou beide benen en zijn rug hebben gebroken. Hij overleefde het ongeluk nog meer dan een jaar voordat hij in Bergen overleed. Boudewijn is begraven in het Mariaklooster van Binche.
Zijn bijnaam kreeg Boudewijn IV vanwege de versterkingen die hij langs de grens van Henegouwen met Brabant en Vlaanderen liet aanbrengen, de ommuring van steden als Bergen en Le Qeusnoy en de bouw van kerken zoals de Waltrudiskerk in Bergen.
