在后来彭城已被重重包围之时，桓温自知难逃一死，于是把自己传越一事写成遗书准备交给褚蒜子坦白一切，这封遗书自然也是由阿牢前去送达，但是没成想阿牢阴错阳差的在广陵碰到了殷浩，并且不小心透露了桓温遗书之事，当时的殷浩是桓温的上司，本身就对桓温违抗军令一时很不满，所以便直接把阿牢抓了起来，从身上搜出了那封信，看了信的内容的殷浩如获至宝，便以此要挟公主嫁给他，并严刑拷打阿牢，让他作污点证人，阿牢受不了酷型，只得答应了下来。
当然，事情最后在褚蒜子亲自出面平息了下来，但是阿牢因为对桓温跟南康深深的愧疚而选择了离开，他先是流浪到了青州的广固，那里是段部鲜卑的天下，他因受不了胡人的欺凌而再次选择了离开，走投无路的阿牢一路乞讨到陈留，在哪里参加了李农的乞活军，因为作战勇敢而屡屡被提拔，最后一直升到了步兵校尉，深受李农的部将张遇的信任，后来跟随张遇驻守许昌。