Herman werd in 1030 hertog van Zwaben na de dood van zijn broer Ernst II. Omdat hij bij zijn benoeming nog minderjarig was, trad bisschop Warmann van Dillingen van Konstanz op als zijn regent. In januari 1036 trouwde hij met Adelheid van Susa, en werd zo ook markgraaf van Turijn. Hij overleed 28 juli 1038 bij Napels aan een ziekte, tijdens een veldtocht tegen de Italiaanse Normandiërs. Zijn lichaam werd teruggebracht naar Duitsland maar door de zomerhitte was dit uiteindelijk onmogelijk en werd hij begraven in Trente (stad). (bron Wikipedia)
Volgens Wikipedia wordt Gebhard wel als zoon genoemd, maar is dat niet zeker. Verder wordt er een mogelijke dochter, Richwara, gehuwd met Berthold I van Zähringen, genoemd.