Gijsbrecht was verbonden aan de heren van Amstel en verloor daarom zijn posities na de moord op Floris V van Holland. Toen graaf Jan II van Avesnes in 1303 in het nauw kwam door een Vlaamse aanval, verzoende hij zich met Gijsbrecht en gaf hem zijn posities terug, in ruil voor zijn steun.
