五虎, 将之决裂