军并没有多，只有两千人，主要负责在伶仃洋内巡哨，打击零星海盗。
曾靖海倒并非忠心李瑜，他是忠心召王李偲，李偲临走前嘱咐他辅佐李瑜，他当然要尽心职守，怎奈李瑜自己不争气，脱掉孝服跑去谈论音乐，被同伴出卖，最终死在尉迟青的手中。
王府围墙高大坚固，两千士兵部署在围墙上和房顶上，用弓箭死守，而攻打王府的士兵有六千人，都是投降尉迟虎的三名中郎将部下。
这时，尉迟虎率领五千士兵赶到，尉迟青连忙上前来参见大哥，尉迟虎看了一眼王府问道：“有劝降了吗？”
“我给曾靖海喊过话了，但没有回应。”
“他人在哪里？我来劝他。”
“就在正门旁边，大哥要当心对方冷箭。”
尉迟虎来到大门前，亲兵们高举盾牌，将他遮挡得严严实实。
“曾老弟可在？”尉迟虎高声喊道。
半响，有人回答道：“尉迟虎，召王待你不薄，你却要夺他的根基，你不羞愧吗？”
声音正是中郎将曾靖海，尉迟虎道：“曾将军误会了，我尉迟家族何德何能，敢霸占岭南？我们是支持四郎李鄜上位，李瑜昏庸，沉溺于音乐酒色，不堪大用，你何必效忠这种人。”
“李鄜更昏庸无道！”
“曾老弟，我其实是支持长子李鸯，但不知李鸯会不会被扣在长安，所以暂时支持李鄜，如果李鸯回来，我自当说服李鄜让位！”
“你以为我会相信你吗？”
尉迟虎摇摇头，“这不是信不信的问题，而是你的选择，要么我一把火烧了王宫，你们和王宫玉石俱焚，要么你和我一起支持李鸯。”
曾靖海半晌道：“你此言当真？”
“我尉迟虎向上苍保证，绝无戏言！”
“那好，我曾靖海愿听从尉迟将军的号令，你不得让我手下放下兵器，也不能解除我的职务。”
“大哥，他们必须放下兵器投降！”尉迟青急道。
尉迟虎摆摆手，“现在要尽快平息事端，稳住局势，等我们站稳脚跟后，再慢慢收拾他。”
他随即高声道：“曾将军既然是水军，那么可去冈州驻扎在新会县。”