项羽和刘邦原来约定以鸿沟（在今河南荣县境贾鲁河）东西边作为界限，互不侵犯。之后刘邦服从张良和陈平的规劝，觉得应该趁项羽虚弱的时候消灭他，就又和韩信、彭越、刘贾齐集兵力追击正在向东开往彭城（即今江苏徐州）的项羽部队。终于布置了几层兵力，把项羽紧紧围在垓下（在今安徽灵璧县东南）。这时，项羽手下的兵士已经很少，粮食又没有了。夜间听见四面围住他的军队都唱起楚地的民歌，不禁非常吃惊地说：“刘邦已经得到了禁地了吗？
为什么他的部队里面楚人这么多呢？”说看，心里已丧失了斗志，便从床上爬起来，在营帐里面饮酒；并和他最宠爱的妃子虞姬一同唱歌。唱完，直掉眼泪，在旁的人也非常惆怅，都觉得抬不起头来。一会，项羽骑上马，带了仅剩的八百名骑兵，从南突围逃走。边逃边打，到乌江畔自刎而死。
因为这个故事里面有项羽听见四周唱起楚歌，感觉吃惊，接看又失败自杀的情节，所以以后的人就用“四面楚歌”这句话，形容人们遭受各方面攻击或逼迫的人事情况，而致陷于孤立窘迫的境地。
凡是陷于此种境地者，其命运往往是很悲惨的，例如某人因常常与大暴徒为伍，不事生产，游手好闲；但之后却破那些大暴徒逼迫的无以为生，求助于别人时，别人也应他平日行为太坏，绝不同情更不理睬，这人所处的境地便是“四面楚歌”。又如学校里讨论学术问题，其学生不学无术（成语，意即没有学术）信口雌黄、颠倒是非，同学们群起而攻之，这学生便完全处于孤立地位，这也可叫做“四面楚歌”。在我们的人生历程上，在我们的日常生活中，好好的做人，脚踏实地的做事，若是行差踏错，就未免要遭受“四面楚歌”的厄运了。