王近山将军于 1978年5月10日因胃癌病逝于南京，享年63岁。王近山在1974年年初开始感到身体不适，11月份因大吐血住院，医生检查不出病情，最终通过手术检查确诊为胃癌。不幸的是，术后肠子破裂，造成肠漏，他不得不再次接受手术。由于病痛的折磨，他在昏迷中仍询问敌人打到哪里了，显示出他对国家和人民的忠诚与热爱。
王近山的逝世对于他的家人、同事和老战友来说是一个巨大的损失。他的一生充满了传奇色彩，是小说及电视剧《亮剑》中主角李云龙的原型之一，常胜将军、二野第一功臣，1955年被授予中将军衔，荣获多项勋章。