其实司马绍手上的大将也有几个，其中最厉害的要数桓温了，其次就是谢玄。谢玄和桓温的关系是部下和上级的关系，那时候都属于司马睿那个派系，而谢玄又是谢安的亲戚，这样司马绍、桓温、谢玄、谢安这四人之间就形成了非常微妙的组合关系。司马绍主政，桓温主军事，谢玄辅助军事，谢安出谋划策。王导由于王敦事件之后自己告老还乡了，再说也确实老了，他属于司马睿时代的老臣了，现在已经是司马绍主政了。王家军的实力有所下降，因为在王敦事件之后，很多军队都被收入到桓温的军队中了，连王羲之王右军的手中虽然有军队，但是也被逐步排挤。
司马绍就选了个良辰吉日准备拜桓温的大将军。但这事被谢安知道了，他就托太监传话给司马绍了。口信中说：“兹有侄儿谢玄可辅助陛下，也可行使对桓温的掣肘功能。”谢安也没多说啥，司马绍也是聪明人，自然明白这层意思，他是想告诉司马绍不要忘了司马睿朝时期的王敦。当时由于司马睿太信任王敦，导致王敦兵变并且差点由王敦取代了司马睿来做皇帝。司马绍听到这个口信后也在琢磨件事，现在很多军队都是以前从长江以北带过来的，论战斗力还行，但是很多都年纪大了，打打内战还凑活，但是对抗前秦的军队好像还差点。于是，他写信给谢安，信中写道：“谢玄担任副军统再合适不过了，朕有意让谢玄招募新兵。”
谢安接到司马绍的来信后，感到司马绍的想法和自己的想法想到一处去了，自从他上次从安徽难民中招募了一些家丁后，感觉他们既年轻又身体素质好，是可用之才。他想把这事告诉给司马绍，并建议把新招募的军队命名为“北府兵”，由司马绍直接调遣。司马绍接到谢安的密信后，当即让太监骑快马，并送了一百个皇家金元宝给谢安，口信嘱咐谢安委托谢玄亲自去湖北、安徽、建康周围一带从难民中挑选身体素质好的，能够吃苦耐劳的，并且是从北方逃过来的年轻难民组建一支新的军队。司马绍还送了一块亲手写的匾额“北府军”。为啥叫北府呢？因为晋朝是从中国北方迁到南方的，大家都有思乡情结，所以把军队的名字也想带上个“北”字，这样大家都以光复北方为己任报效朝廷。但，事物总有两面性，“北府兵”虽然经过训练后能征善战，可以用来对抗前秦军队，然而他们毕竟都是雇佣兵，谁给钱就替谁卖命，所以以后一旦朝廷财政空虚的话，这“北府兵”反而可能成为推翻朝廷的一支不可忽视的力量。
这会儿，谢安本想还继续隐居下去，毕竟家里衣食无忧，但是他再想隐居也隐居不了了，司马绍亲自写信向谢安表明，谢家的人都出来做官了，唯独谢安独自在家，有点辜负了朝廷，只要谢安肯出山，三倍俸禄伺候。这三倍俸禄的总数都快赶上皇帝一年的花销了，谢安再也不能推辞了，所以就骑着高头大马神神秘秘地带着家眷向建康赶路了，他暂时不想敲锣打鼓，因为还没做出啥惊天伟业来，先谦虚一下。其实，大家伙儿都知道谢安的本事，即使他张扬一下，大家也无话可说。但是，谢安的出山让一个人有点不爽，这个人就是桓温。要知道，如果谢安不出山，整个东晋朝政其实都掌握在桓温手里，因为桓温掌握军队，而且桓家的私家军的规模也挺大，说桓温没有王敦的野心那是假话，但是桓温比王敦门槛精，而且比王敦会装腔作势，他可没王敦那样的做事鲁莽。从这点来看，司马绍执意要谢安出山也是有想让谢安和谢玄制衡一下桓温的势力，毕竟桓温掌握军队而且以前还爆发过王敦事件，所以出于制衡的目的，司马绍也挺偏向于谢安的，遇事总虚心听取谢安意见，虚心采纳他的建议和计划。