他还派人北上东突厥的始毕可汗，让突厥人将兵马驻扎黄蛇岭，兵锋甚盛，威胁整个并州。
正在晋阳养伤的并州总管、齐国公李元吉派大将张达率兵去抵御抵御刘武周，却落得一个全军覆没的下场。
击败张达之后，刘武周和宋金刚率军一路南下，先后攻取榆次、平遥和介休等城，兵锋直指晋阳城。
身为主将的李元吉眼见刘武周大军势不可挡，连夜携其妻妾弃城而走，逃亡长安。
李元吉一逃，晋阳城的守军士气瞬间变得无比低落，最终没有抵挡住刘武周大军的攻势，让晋阳城这座李家起兵的龙兴之地沦陷于刘武周和宋金刚之手。
刘武周攻占了晋阳之后，又派遣大将宋金刚南下夺取了晋州、绛州、龙门、浍州等重镇。
眼见李家在河东的势力已经被刘武周连根拔起，吕崇茂也在夏县起兵，自号魏王，与刘武周相呼应。
与此同时，隋朝旧将王行本据蒲坂，与宋金刚相联合。
至此，河东大部分地盘都落于了刘武周之手，整个关中都为之震动。