如此造成了“归正人”在社会上的尴尬地位，也激起了“归正人”的怨恨之心。当主战派在朝廷上得势的时候，南宋就会想尽一切办法收纳、诱使北人南迁，并给予最大的物资支持。当主守派得势的时候，归正人就会陷入很尴尬的局面，甚至有时面临被遣返的下场，这些被迫北返的归正人，饱受报复与歧视，生活常陷于绝境，必然会使这个群体对宋生产了严重的怨恨。
与此同时，在宋朝官冗、财政危机局面形成及日趋严重的过程中，归明、归朝、归正人起到了推波助澜作用。鉴于此，宋朝虽然总体上对他们采取了优待政策，但迫于压力，只能根据国家安全形势及其所起作用的变化，在已有优待政策基础上，进行适当调整，限制优待对象，降低优待标准，以缓解冗官、冗费和财政危机的压力。
朝野中也对移民问题争论不休。支持者认为，对归正人的态度，显示着宋王朝的“正统”，是收揽中原人心、争夺中原人才的一个必要举措。同时可以增加人口与耕地面积，可以补充军队兵员，还可以了解敌国的内部情况与动向。因此，不仅不能拒绝，还要重金招纳。
反对者认为，这些南迁的归正人是敌国的设下的毒计，利用这些流民来蚕食宋国。一方面，南迁官员众多，使南宋冗官现象非常严重，给国家带来巨大的负担。另一方面，本来土地有限，蜂拥而入的归正人侵占了宋人的土地，又增加了东南民众的生存压力，把原来的良民逼成“盗贼”。
还有在宋军中，尤其是前线最具战斗力的部队中，由于归正人的比例逐年增加，使军队的管理出现隐患。端平年间，襄阳、唐州、邓州、黄陂等地北军相继发动叛乱。一方面是这些北军饱受排挤，另一方面是宋正军在数量上不占优势，使军队内部管理失控。
事实上的确米仓中会混有几粒老鼠屎，大量的归正人之中，其中投机者不少。有些伪造履历以骗取南宋的官职，或不断地索要官职差遣让南宋朝廷疲于应付。有些归正人官员在地方上作威作福，仗势欺人，败坏吏治，还有一些是金国人安插的奸细，或窃取情报或从事破坏活动。
这些都增加了南宋官员对归正人的疑虑与不信任。而不信任感是长期存在于南宋朝廷之中的主流态度。包括朱熹，都直接把归正人与汉代时的宦官、唐代时的藩镇视为一类，认为这些人都是造成社会动乱的病根。因此，许多归正的文官多不被授实职，添差后就将他们分散地安置在各州郡中。
在军队中，归正人受排挤的现象更为严重。影响最大的一个是山
本章未完，请点击下一页继续阅读！