Gilles bezat via zijn moeder het graafschap Duras in het huidige Belgisch Limburg. In dat graafschap lag de enclave Brustem, welke in het bezit was van Lodewijk I van Loon. Hierover ontstond een conflict tussen Gilles en eenst Lodewijk I en daarna diesn zoon Gerard. In 1172 werd dat conflict bijgelegd en bezegeld met het huwelijk van Gilles met Laurette van Loon, een zus van Gerard van Loon. Twee jaar later, toen Gerard teruggekomen was van de kruistocht waar hij in 1172 aan begonnen was, laaide het cnflict weer op en werd het huwelijk ontbonden. Gilles en Laurette hadden geen kinderen gekregen.
