司隶校尉羊侵之后，出身倒是不低——他跟羊献容算一家，是献容族弟。

羊彝还在少年时，便目族姊献容为天人，只可惜份属同姓，年差十岁，既无缘又无份。羊献容为晋惠帝后，羊彝曾经担任过汲郡的共县长，等听说献容为胡兵所掳，他就直接抛弃了印信，跑去平阳依附胡汉政权。然而此人本无远名，加上羊献容也不过刘曜的侍妾而已，故此晋身无门，只当了个小小的殿中谒者。

还是此前刘曜回师，羊彝才终于跟这个便宜姐夫取得了联系，他在刘曜面前把自己吹得天花乱坠，说有攻城拔寨之能，又擅长制造军器，刘曜就请他过来相帮。羊彝却又耽搁了很长时间，才终于得着机会离开平阳，恰好在此时抵达了大荔城下。

刘曜恍惚想起，羊彝说自己擅长制造器械攻城啊，这时候正用得上他哪，于是客客气气将其请入大帐。寒暄几句后，说起攻打大荔之事，羊彝就笑道：“我适才远远观看大荔城防，确实颇具匠心，然而对某而言，只须器械趁手，破城却也不难。”

刘曜大喜，正待问他要制造何等器械，才能顺利破城，突然部曲哨探回来，就在门外禀报说，伊余攻打羊马垣三次，损失近百，不敢再攻了，如今正在城门外逡巡叫阵呢。刘曜勃然大怒道：“此乃故意拖延时间，以待我明日攻城也！”

羊彝问是怎么一回事儿，刘曜大概齐跟他这么一说，羊彝就笑着建议：“彼欲激晋人出城来战，亦无不可。晋人素孱弱，如何能当虚除骑兵？若能于城下挫其一阵，这城么，也便好攻些——大王岂不闻曩昔魏武在延津诱杀文丑之事乎？”

刘曜道：“倒要请教。”

羊彝就说了：“昔曹、袁于河上相攻，魏武徙白马之民，循河而西，袁绍大将文丑渡河来追，至延津南。魏武亲自断后，于是命骑兵解鞍放马，以诱文丑。文丑果轻骑来，魏武逆袭之，遂斩文丑。大王可转告虚除伊余，使其亦于城下