初平四年（公元一九三年）正月二十日，微雨，陶谦军暗中收拾好行囊，知会吕虔后，乘夜渡过泡水，退兵南下。传令兵受陶谦暗示，次日接近中午才至沛*县见吕虔。
吕虔接信又惊又怒。
整编后吕虔讨逆军只有一千多人，麾下名为三部，实为三曲。隶属于他指挥的巢集征虏军、张圭破虏军也是如此。进鲁国后，鲁县已非前线，不用留兵驻守，驺县对着曹操军的南平阳，留了五百兵，蕃县对着沛国的公丘县，此县原为陶谦军所据，陶谦败后，为曹操军所居，蕃县也留了五百兵。薛*县、戚*县驻有陶军，但青州、徐州只是盟友，谁也说不准会不会反目成仇，吕虔为保后路不失，仍旧在泗水东岸留了五百兵。如此一来，吕虔在沛*县的只有两千多人，虽都是精锐，但人数太少，不足于抵挡曹操数万大军。
曹军显然一早就发觉了丰*县异状，迅速出兵，将没有守兵的丰*县占了，然后出兵沛*县。陶谦派来通知撤军的使者与曹军的到来几乎是前后脚。
吕虔命速开东门，带领两千兵迅速出城，冒着细雨，涉兵过了泗水，在沛县东岸的军队接应下，沿着冰冷湿滑的洼地向东狂奔。
吕虔行事果断之极，曹军刚至城下，还没摆出攻城姿态，他已去远。曹操察看泗水两岸情况，冷雨之下，路面冰滑难行，只得望着吕虔军的身影叹息一声，放弃追赶。
斥候回报陶谦大军已撤到留县，曹操正考虑是不是给陶谦主力狠狠一击后再退兵，陶谦的使者到了。曹操展开陶谦书信，不由勃然大怒，骂道：“枉陶恭祖平时自命英雄，竟然如此下作！”却是陶谦以曹嵩、曹德性命威胁曹操退兵。
戏志才道：“曹公勿怒，陶恭祖固然无耻下作，做小人之态，老太公却不可不救。如今陶谦兵力折损大半，已是不足为患，不如且置之度外，专心内政，以对刘备。”
曹操怒气不息，道：“陶恭祖贪得无厌，让吾退出沛国，实难忍也。”心中则对没有及时把曹嵩、曹德等接来懊悔不迭。
之前曹操依附袁绍，没有稳定地盘，没有条件将曹嵩接来。去年（公元一九二年）四月，曹操入主兖州，但紧接着就是与黄巾恶战，与刘备对峙，与袁术恶战，与陶谦恶战，八月刚刚稳定下来，派人去接曹嵩，请其放弃辎重财货，轻装来兖州。历史上曹操掌兖州，命泰山太守应劭接应曹嵩，如今泰山控制在刘备手中，此路不通。曹嵩听到让他放弃苦苦积攒搜刮来的财物，哪里肯听，不从。使者来回，拖延下去，等到陶谦派兵包围曹宅，隔绝联系，曹嵩想离开已是不能了。曹嵩自持曹操乃一方诸侯，自己也曾位列三公，名重一时，平时常与人为善，从不曾得罪于人，与历任徐州刺史关系都还不错，与陶谦关系也还过得去，绝不认为陶谦敢动自己。陶谦兵围曹宅，曹嵩心中有些后悔，但见张闿恭敬客气，便认定陶谦不敢无礼，心气又上来了，他是当过三公的人，对张闿这个黄巾贼寇出身的非常看不起，平时理都不理他。
曹嵩威严自持、贪财好利，而曹操则跳脱飞扬、好为游侠，曹嵩对这个儿子是不太喜欢的，更喜欢次子曹德。曹操起兵于陈留讨董时，曹嵩却携带着财货家产避难琅琊，投奔故交徐州刺史巴祗，并未资助曹操。
曹操虽然心中对曹嵩贪财好利、目光短浅的行为不满，但汉代以孝为先，这种看法却不能表露出来，相反，还要时刻将曹嵩的教诲挂在口边，以示孝顺。因此，曹嵩遭遇危险，曹操是万分忧虑的，他可不敢学高祖刘邦。刘邦面对项羽要烹杀刘太公的威胁时，从容说什么咱俩是兄弟，你杀我父相当于杀你父，如果一定要烹杀他，那么请分我一碗肉汤。上下数千年，能像刘邦这样的，也就他一个了。