见谢玄如此懂事，谢安也大感欣慰，于是便亲自给桓温写了封信，让谢玄带着去江陵见桓温。
在参加完姐姐谢道韫与王凝之的婚礼之后，谢玄就马不停蹄的前往江陵见桓温了，对于谢安推荐的人才，桓温当然得给个面子，于是便接纳了谢玄，让他在荆州刺史府担任掾属，工作了一段之后桓温觉得谢玄是个人才，让他在刺史府里打杂有点埋没了人才，恰巧桓温正在筹备北伐的事情，处于战争前线的新野郡缺人，而新野太守就是桓温的四弟桓豁，于是便把谢玄派到了桓豁那里担任司马，谢玄到了新野没过多久桓温的第一次北伐就开始了，谢玄也借助这个机会，开始真正接触到了军队与战争。
其实桓温筹备北伐已经很久了，在殷浩被废的第二天就正式上书朝廷要求北伐，掌管朝政的司马昱无法再推辞，只得批准了桓温的北伐请求；