后来，当唐恪再次催促赵桓赶紧离京时，赵桓直接翻脸说：“朕当死守社稷也！”
侍御史胡舜陟趁机上奏，弹劾唐恪无能。
胡舜陟说唐恪智虑短浅，不能经画边事，根本不配当宰相。
当时，汴梁城中的军民也普遍认为，唐恪昏懦无能，人们甚至想找机会揍他。
一晚，唐恪乘轿外出，被百姓发现。
百姓竟然皆向唐恪抛砖扔瓦，甚至将唐恪照明的灯笼都打破了。
在侍卫的保护下，唐恪好不容易才骑马逃脱。
回家后，唐恪便上书请求辞去宰相之位。
赵桓觉得，唐恪已失人心，关键，唐恪上任已经两三个月了，一点作为都没有，金人又快打到东京了，赵桓认为唐恪没有宰相之才，遂免去唐恪的少宰职务，让唐恪担任观文殿大学士、中太一宫使兼侍读离开了朝堂。
宋朝，尤其是北宋，是最崇文抑武。
韩擎很怕，自己忙活了一溜十三刀，最好再叫一个文人拿去了领头人之位。
如果是那样，韩擎的权力变小受人限制不说，关键，韩擎好不容易才创造出来的扭转乾坤、改写历史的机会没准也会被那个文人给败祸了。
所以，于私于公，韩擎都必须要保证自己能成为领头人，不能让这个权力旁落。
基于此，韩擎决定拉一个身份地位能压住所有文官又不适合当领头人的人入伙。
将所有文官的履历翻了一遍，韩擎发现，没有比当过宰相又非常不得人心的唐恪更合适的了。
而且，在韩擎看来，唐恪绝对是能看清形势和有远见的，至少要比赵桓任用的其他宰相要强得多。
再看唐恪的履历，他历任县尉、知府、转运判官等地方官职，完全是从基层干起，逐步被提拔到中央的，因此，他应该是有能力的，只不过当时的形势太过混乱，关键赵桓又战和不定对他掣肘太多，让他完全没有机会展示他的能力。
另外，历史上，赵佶、赵桓北掳后，金人立张邦昌为皇帝，唐恪根据当时的形势判断支持张邦昌称帝才是最正确的选择，因此予以支持，但在推戴状上签名后就服毒自尽了。
这说明，唐恪不仅能看清形势，做出最正确的选择，气节上也是没有问题的——唐恪是赞成异姓称帝了，但他最后把命都赔给老赵家为大宋殉国了，也算是对得起赵宋了。
总之，不论从哪个方面来看，唐恪都符合韩擎心中的人选。
所以，韩擎才亲自将唐恪请出来，并在此刻最先请唐恪坐自己的帅位。
唐恪果然没让韩擎失望，他很干脆的说：“唐恪有心救国无力回天，值此千钧一发时刻，怎可坐此座，为大家平生困难？”
韩擎又劝了一句：“如今来看，相公当日之谋，实属救国良策，是世人误会相公了，还请相公坐在此座，领导我等抗金救国。”
唐恪很感激韩擎能说出这番为他正名的话！
不过，唐恪心里非常清楚，他如果坐在了韩擎的帅座上，肯定会坏了赵宋唯一的机会。
更重要的是，唐恪已经看出来了，别看韩擎现在谦恭有礼，可一旦谁不开眼，去坐了韩擎的帅座，那么韩擎铁定不会尽全力推动此事，甚至会直接翻脸，然后拥兵自重。
就目前的形势来看，手握重兵的韩擎要是不全力以赴，那么赵宋肯定是一点机会都没有。
所以，唐恪摇了摇头，说：“非是我谦虚，而是我坐此座，于形势有百害而无一益，故此座我绝不能坐。”
……