游姓先祖为春秋时代郑穆公之子公子偃，字子游，乃以先辈之字为氏，从汉代就居于左冯翊，为郡中大姓。所谓“麴与游，牛羊不到头……”的金城游氏，其实只是冯翊游氏的分支而已，不过如今分支繁盛，主支反倒衰败了。

这个游遐就是冯翊游氏族人，少有高名，据他自己说，十五岁的时候前往洛阳游学，拜见过宰执张华，张华与之交谈后甚奇，夸赞说：“此儿雅洁洪方，精公才也。”当然啦，张华如今骨头都烂了，必然不能够站出来作证。

然后二十出头，游遐就被举为孝廉。孝廉本是汉代儒者的主要出仕之阶，不过这年月仅仅只留虚名而已，孝廉出身未必就能当官，再加上世道越来越乱，游遐也就逐渐淡漠了出仕的念头，只管在家乡照顾家族产业，平素以读书、写字为乐。

前几年梁肃担任冯翊郡守，贪图游氏的产业，想要榨出点儿财货来，却为游遐所阻，一怒之下，便遣人诬告游遐与盗贼相勾结，将其下于狱中。其后不久，刘曜率大军来攻，北部各县逐一陷落，梁肃慌了，胡军游骑才刚出现在大荔近郊，他就主动弃守而逃。于是趁着大荔城内官吏尽散，而胡汉大军还没有抵达的机会，游氏族人劫了大牢，把已经被拷打得只剩半条命的游遐救了出来，暂时安置在城外某坞堡中静养。

然而游遐的伤才刚养好，裴该又率大军北上，一路神挡杀神，那家坞堡主因为不甘心彻底交出权柄，略略抵抗了一番，就被徐州军半日间攻破壁垒，屠其全家丁男。坞堡中的兵卒、仆佣、农夫，老弱妇孺，以及游遐这种寄居者，全都被一绳所系，押送到了渭北来。

游遐先是瞧着徐州军没有屠堡的意思，自己性命得全，不禁大舒了一口气；继而瞧他们的举动，貌似是想在渭北屯田……完蛋了，我根本就不会种地啊，而且别看身量高，其实力气小，也扛不动什么锄头、耒耜。对于有用之人，不肯不分良莠，一概杀却，裴侍