1937年12月13日日本鬼子侵占南京之后，随即渡江北犯，到1938年6月，皖东各县城相继被侵占。共产党为了挽救民族危亡，命令新四军第四支队东进皖东抗日，1938年9月，第四支队到达皖东津浦路西。1939年7月新四军第五支队成立后即进人皖东津浦路东。这两支部队经过艰苦作战，分别建立了以定远藕塘和以来安半塔为中心的两块抗日游击根据地。1940年3月取得路西自卫反击战和路东半塔保卫战胜利之后，皖东各县成立了人民民主政权。至此，一个地跨苏皖两省的皖东抗日根据地(1942年改称淮南抗日根据地)正式形成。这是全国十九块抗日根据地中极有影响的一块根据地，面积2.1万平方公里，它的四面都是日寇的战略要地。日寇为牢牢地控制着贯穿于根据地中间的津浦铁路，在铁路线两侧布满了岗楼和碉堡，把皖东抗日根据地分割为路东、路西两大块，造成了两块根据地之间不能相通，严重地阻碍着政治、经济、军事方面的联系，给根据地的建设和军民生活带来了极大的困难。
为了打破日寇对津浦铁路南段的控制和封锁，沟通路东与路西之间交通来往，保护过路人员和运输物资的安全，1942年6月，淮南津浦路西区党委成立了以张翼中为教导员，阮官清为大队长，有30多人的武装保卫大队。该大队主要活动在张八岭到滁县之间，开展伪军工作，取得了不少成绩。当年年底，为贯彻“精兵简政”的政策该大队被撤销。1943年春，淮南区党委和淮南军区决定，重新组织铁路便衣大队，调第二师直属队政治处主任程明当政委，第五旅第十四团副团长张宜爱和参谋长胡斌甫当正、副大队长。大队下辖3个中队和1个直属分队，全大队100多人，人员精干，武器精良。大队部和直属分队驻嘉县(今明光市)自来桥，其它3个中队分别驻在明光至小王郢、乌衣、浦口120公里的铁路沿线的附近村镇，平时各中队独立活动，遇有重大任务，全大队集中行动。
铁路便衣大队根据谭震林政委指示，在铁路沿线开展了各种形式的斗争。1943年麦收季节的一天早晨，驻来安县程家集附近据点的1个小队鬼子和1个中队伪军带着几匹骡子到根据地抢劫。埋伏在这里的第三中队的神枪手“叭、叭、叭”三枪，把鬼子小队长和两个扛机枪的鬼子撂倒，队员们在喊杀声中一齐冲向敌群，把鬼子和伪军打得落花流水，活捉了30多个敌人，其中有2个鬼子，取得了伏击战的胜利。为了中断鬼子给养，便衣大队又组织一个小分队，在铁路线上专门打火车，扒物资。小分队队员个个都有一套飞车走壁的本领，能在火车飞奔时双足一蹬就上了火车，还能用倒挂金钩的办法翻上车顶，再从车顶倒挂下来钻进车厢，把车厢里的物资，如枪支、子弹、服装、布匹、粮食、食品、香烟等迅速掀下车，在下面路基接应的队员早就组织好群众进行抢运，大量补充了二师部队给养。群众亲切地叫小分队为“老飞”，而鬼子骂小分队是“土共”。小分队还到火车上扒煤，扒毛竹，什么都干，把鬼子搞得胆战心惊。
张八岭据点伪军队长张汉西，处处和我便衣中队作对。他还勾结土匪头子麻脸抄子杀人抢劫，强奸妇女，坏事干尽，群众恨之人骨。便衣中队经过研究，决定乘荒冲村的三番头子张某过60大寿，当地头面人物及张汉西、麻脸抄子都去拜寿之机，抓捕这两个坏家伙。做寿那天，在那些家伙酒足饭饱之时，便衣队队员神不知鬼不觉地冲进屋里，以迅雷不及掩耳之势，将张、麻两个坏家伙抓到并即时镇压了，为民除了害，震慑了当地伪军。1943年，明光镇日本鬼子红部来了一个名叫刘锡胜的翻译官。这是个死心塌地的汉奸，不仅给鬼子当翻译，还破坏了便衣队在镇上的几个秘密联络点。平时他在大街上耀武扬威，见到自己喜欢的东西就拿，欺男霸女，无恶不作，人人痛恨。8月的一天，便衣一中队派两名机智灵活的队员化装成阔商和保镖，乘赶集时进人了明光镇。他们发现目标就紧随其后，在十字路口人多地方，连发几枪，将这个汉奸击毙。对那些两面派的伪军，则采用打拉结合，尽量争取的办法。便衣大队通过内线了解到驻管店街的伪军大队长对日寇的“三光”政策很反感，便衣大队领导便与他多次接触，宣传团结抗日道理，叫他不要当亡国奴。他也同意，但却不愿“借路”，目的是为了保住大队长的头衔，既不想得罪便衣大队，又不想惹恼日寇，两面讨好。于是便衣大队就在他的管辖区频繁袭击日寇巡逻队和火车，闹得他不得安宁。日寇把他叫去训骂一顿，限他半月之内，消灭便衣大队，否则要他的命。为此，他带着伪军搞了几次“清剿”，均一无所获。便衣大队照样挖铁轨，袭击日本鬼子。眼看半个月快到了，他急得像热锅上的蚂蚁，坐卧不安，无奈何，他只好找人与便衣大队联系，要谈判。便衣大队派人到他家里去告诉他:“中国人不打中国人，我们便衣大队是专打日寇和死心塌地当汉奸的人。你尚存爱国之心，我们是知道的，也可以帮助你解决些困难，保你仍当大队长。否则，张汉西、麻脸抄子、刘锡胜就是你的下场。”他吓得脸色都变了，慌忙解释说:“兄弟实为混碗饭吃。你们提出过铁路的事，我照办。”他答应提供情报，保证过路安全。以后便衣大队在他的辖区基本上不与敌交锋，日寇又把他叫去夸奖一番。这样，一个伪军大队便被争取过来了。对那些伪军小部队，我们则采取拉的办法。如驻柳庄伪军小队、三界的伪军中队，我们通过其家属、亲戚、朋友做工作，使他们“身在曹营心在汉”。以后，他们帮助便衣大队设岗放哨，让路放行，送情报，搞子弹，购买短缺商品，这些伪据点变成了抗日根据地的联络站和工作站。这样，在便衣大队三个中队活动区内都有了安全通道，保证了路东、路西的领导干部、工作人员、部队和物资运输畅通无阻，安全通过铁路。两年中，经常来来往往过路的领导干部有谭震林、罗炳辉、徐海东、黄岩、魏文伯等。1943 年秋的一天，便衣大队领导通知守路的伪军说，今天晚上有两位首长要从这里过路。伪军听后告知说:“日军夜间第一列火车还没有通过，首长先休息，待火车通过后再过路。”火车通过后，便衣大队领导便把两个中队的伪军集合到路边，迎接首长。当两位首长过来时，路边遂喊出了“首长好”的呼声。看到了便衣大队争取了这么多的伪军，谭震林高兴地说，“中国人是不愿当亡国奴的”，并叫警卫员把二师生产的“飞马”牌香烟赏给伪军。两位领导安全到达目的地后，在给路西部队作报告时，便把铁路便衣大队缴获的机枪和三八步枪等武器摆到桌子上，向他们介绍便衣大队艰苦作战的情况，给予很高的评价。
铁路便衣大队在明光至浦口的铁路线上机智勇敢地和日伪军战斗了两年，出色地完成了上级领导交给的各项艰巨任务，在淮南人民抗日斗争史上留下了光辉的一页。