孙刘联盟暂时得以维系，刘备把主力调往益州北部，专心对付曹操去了。孙权决定趁这个难得的机会大干一把，建安二十年（215年）八月，就在曹操刚刚攻入张鲁大本营南郑的前后，孙权集合十万人马进攻合肥。曹操上次离开合肥的时候，留下张辽、李典、乐进三员猛将，但给他们留下的人马并不多，只有七千人。

曹操也考虑到孙权将趁自己远征汉中之机向合肥发难，他已经想好了对策，但没有公开，而是写在一封密函里，交给留守部队的联席参谋长（护军）薛悌。

当互不隶属、军职也相当的几路人马共同担任某项防务时，为了便于各路人马之间的沟通、联络和协调，往往设护军一职，他们地位一般不是特别高，但直接向曹操本人汇报，直接接受曹操的指令，因而地位很重要。

曹操走后薛悌谨遵指示，没有打开过那个密函，直到孙权率十万人马向合肥杀来，薛悌想时候应该到了，赶紧当着张辽、乐进、李典诸将的面打开来看。大家还以为丞相留下了什么秘密武器，期望值挺高，谁知只看到上面写了几句话：“若孙权至者，张、李将军出战，乐将军守，护军勿得与战。”

大家有点失望，当前明显寡不敌众，宜采取守势，等待援军的到来，如果主动出击，能否取得胜利实在很怀疑。只有张辽认为丞相的指示是正确的，他说：“曹公远征在外，如果我们坐等待援，敌人必然会击破我们。所以曹公命令我们趁敌人没有集齐之时发起攻击，挫伤他们的锐气，以安定军心，然后才能守住。”

乐进、李典等人还有些犹豫，张辽有些生气：“成败之机，在此一战。诸君如果还要怀疑，我张辽愿意单独一战！”

李典跟张辽平时有矛盾，此时慨然说道：“这是国家大事，我不能以私心而忘记公义，请让我跟随你前进！”

于是，张辽连夜招募敢死队，共选了八百人，杀牛飨食，让他们饱餐一顿。天亮后，张辽亲自披甲持戟，率领这八百勇士杀入敌营。

张辽一边杀，一边大呼自己的名字，他们连杀数十名敌人，其中还包括两员将领。他们冲锋的速度极快，转眼杀到孙权的指挥部（冲垒入至权麾下）。

孙权完全没有料到，他大吃一惊，不知道如何办，跟前有一个土堆，可能是一处坟堆（高冢），孙权顾不了那么多，抱着一把长戟就上了土堆。张辽站在土堆下，高喊让孙权下来一战。孙权不敢动，这时孙权手下诸将杀了过来，将张辽围住。

张辽率身边数十人又往外面杀，刚杀出重围，听见后面有人求救，回头看是自己带来的人里有被孙吴士兵围住不能脱身的，张辽于是又往回杀，所向披靡，敌人没人敢挡。张辽顺利地将被围的士兵解救出来。

这一战从早晨一直打到中午，张辽就用这八百人在孙权大营里连冲带杀，孙吴军队居然毫无办法，看着他们杀进杀出，孙吴士气大损。

孙吴军队又攻了十多天，被士气高昂的曹军挡在城下无法得手，孙权决定撤兵。

孙吴军队接到命令陆续撤退，孙权和吕蒙、甘宁、凌统、蒋钦、陈武、潘璋等将领留在后面督阵。合肥城外有条淝水，淝水上有一个渡口叫逍遥津，孙权等人正在逍遥津以北等待过河，被远眺敌情的张辽恰好发现。张辽率兵突然杀出，目标直指孙权。

这一击实在太突然了，孙权等人毫无防备，吕蒙和甘宁拼死保护孙权，凌统指挥身边的人架着孙权就走（甘宁与吕蒙等力战敌，凌统率亲近扶权出围），把孙权转移到安全地带。凌统返过来再与曹军交战，身边的人一个个战死，他也多处受伤，估计孙权已经脱险，才撤离战场。

吕蒙、甘宁、蒋钦等人死战张辽以掩护孙权，甘宁勇猛异常，不停地引弓射敌，负责鼓吹的士兵大概也伤亡得差不多了，甘宁发现自己一方突然没了声响，还厉声询问，史书称其“壮气毅然”。

甘宁以前是刘表的部下，刘表派他跟随黄祖与孙权作战，在一次战斗中他射杀了凌统的父亲凌操，从此结下了仇恨。凌统掩护孙权撤退后重新杀回，他跟甘宁默契配合，抵挡住了曹军的猛攻。

据《三国志潘璋传》记载，孙吴的将领陈武力战而死，宋谦、徐盛、甘宁等人负伤。

《献帝春秋》称张辽遇到一个紫色胡须的吴将，上身长、下身短，在马上很善射，张辽问孙吴的降卒这个人是谁，降卒回答是孙权，张辽懊悔不已，赶紧跟乐进急追。

据《江表传》记载，孙权骑马到了逍遥津渡口上的一座桥，这座桥年久失修，桥面已坏，有一丈多宽的地方没有桥板。此时只有他的侍卫长（亲近监）谷利在身边，谷利让孙权握住马鞍稳住身体，他在后面挥鞭以助马势，马使劲腾越，最后跳过了断桥。谷利立下大功，后来被封为都亭侯。

孙权侥幸逃过淝水，遇上部将贺齐率三千人前来接应，孙权才得以脱险。贺齐把孙权迎入大船，摆上酒宴为孙权压惊，席间贺齐落下眼泪，他对孙权说：“人主的安危是大事，今天我们几乎酿成大祸。群臣震怖，像没有天没有地了一样，我将把今天这件事作为终身之诫！”孙权也走下座席，过去替贺齐擦干眼泪（权自前收其泪）。

甘宁等人随后突围而回，其中凌统受伤最重，到淝水边时，桥已被曹军破坏，凌统穿着甲胄潜水渡河。到了孙权的大船上，孙权见了又惊又喜，把凌统留在自己的船上，亲自为他换了衣服，拿出珍藏的“卓氏良药”为凌统疗伤，凌统才得以不死。

逍遥津一役，曹军以七千余人打退孙吴十万人的进攻，两次陷孙权于危难，使孙权损兵折将，创造了战场神话。

经此战后，张辽名气更大，自那时起张辽的名字便与逍遥津联系在了一起。

后人评论此战的胜利，一方面归功于张辽等人作战勇敢，面对强敌敢于主动出击，以不足十分之一的力量对比，打得敌人节节退缩。另一方面，对于曹操的知人善任也给予高度评价。

曹操在留下的封函里仿佛已经预知了一年后发生的情况，对于如何用兵给出了清楚的指示，他知道张辽、乐进、李典等人互相不服气，平时都不买对方的帐，所以暂时把拒敌方案秘而不宣，他相信关键时候张辽等人能以大局为重，且互相激励，一定能出奇致胜。

之所以让张辽担任主攻，让李典守城，是因为曹操了解他们的性格，张辽作战勇猛，有狠劲；李典号称“军中长者”，是一员儒将，打起仗来比较冷静，适合守城。

今天的逍遥津旧址在安徽省合肥市老城区的逍遥津公园内，园内还有张辽墓。张辽祖籍并州刺史部雁门郡马邑县（今山西朔州），他跟关羽是同乡，关系很好。张辽于黄初三年（222年）病逝于江都，他死后要么就地葬于江都，要么葬于家乡，不大可能葬在合肥，这个张辽墓应该是后人为纪念他而修的衣冠冢。