张继科在2004年被退回省队的原因主要有以下几点：
违反队规：
张继科在2004年因为违反队规被退回省队。具体行为包括赌博，他借用了乒坛某位大腕的银行卡参与带有博彩性质的“游戏”，输钱后无法面对现实，并在外出比赛过程中离队出走。
表现不佳：
2004年全国锦标赛上，张继科表现不佳，未能入选国家队，从而被退回省队。他在比赛中连续输给了两位实力较弱的选手，导致失去信心，表现不够出色，并且存在一些技术问题和心理问题。
技术和心理问题：
张继科在比赛中暴露出技术上的不足和心理上的不成熟。这些问题导致他在省队选拔中未能达到要求，最终被退回。
综合以上原因，张继科被退回省队主要是由于其违反队规的行为以及在全国锦标赛上的不佳表现，这些因素共同作用，最终导致他离开了国家队。尽管如此，这段经历对张继科产生了深远影响，他在省队得到了尹霄等名帅的指点，为后来的成功打下了基础。