Sweder heeft zich actief opgesteld in de strijd tussen de Bronckhorsten en de Heekerens. Eerst steunt hij de Bronckhorsten, maar als Jan van Arkel, bisschop van Utrecht, hem de 10.000 oude schilden, die hij voor bewezen diensten zou krijgen, niet betaald, stapt hij over naar de tegenpartij, de Heekeren. In 1353 belooft hij vrede aan hertog Reinald III, en in 1357 en 1358 treedt hij op als zijn raad. In 1361 is Sweder aanvoerder van de Heekeren, maar zij worden bij de slag bij Tiel verslagen, en Sweder wordt gevangen genomen. hij komt spoedig weer vrij. De nieuwe hertog van Gelre, Eduard, wil van Sweder af. Hij trekt op naar kasteel Keppel, geholpen door de steden Zwolle en Kampen. Sweder wacht dit beleg niet af en valt samen met zijn neef Frederic van Heekeren van de Ese Zwolle aan. Hij vernietigd Zwolle, maar wordt daarna zelf gevangen genomen. Een alliantie van bisschop Jan van Arkel, hertog Eduard van Gelre en de steden Zwolle, Deventer en Kampen belegeren kasteel Voorst en veroveren het in 1362. Het kasteel wordt compleet vernietigd.
