二十九军全体将士皆系冯玉祥将军的西北军旧部，1930年中原大战，西北军溃败，各路残兵避居山西一隅。来自各派系的将领宋哲元、张维藩、冯治安、张自忠、赵登禹、李文田、何基沣、萧振瀛等8人，共议集合力量创办新军，推举原五虎上将宋哲元为军长，将士共四万余人，阎锡山每月拨十六万晋钞。全体官兵生计艰难，萧振瀛见此决非长策，乃商各将领同意，投奔东北军的少帅张学良。张学良久慕宋哲元的指挥才能，决定收编这支能征善战的队伍，并赠宋哲元一把将军指挥刀，刀柄上刻有“張學良贈”的铭文，刀鞘和刀柄上雕刻有花纹，十分精致(现存北京军事博物馆)，部队改称为东北边防军第三军，全军只有一万五千人的编制，却要维持四万人吃饭，所以无论官兵一律只管吃饭而不发军饷。全军下辖两个师，第一师师长冯治安，第二师师长张自忠。军官一律降级使用，如赵登禹原为师长，现编为冯治安手下的旅长。后来刘汝明加入又增加为暂编第二师。

　　在张学良东北易帜后不久，全国军队统一编制，张学良为海陆空军副总司令，宋哲元所部被编为国民革命军第二十九军。

　　二十九军与大刀队

　　蒋介石对二十九军是有所考虑的，他准备利用他们去江西剿共。而宋哲元却认为中国内战多年、国力衰竭、列强环视。为此他在《北平实报》上发表了自己的主张:“枪口不对内，中国人不打中国人”、“军人之天职是保卫国家”。所以二十九军在由山西到察哈尔驻防的两年多的时间里，不仅积极练兵，还重点进行了爱国主义教育。

　　但二十九军装备极差，有三分之一是原西北军遗留下来的老汉阳造、三分之一是当年淮军打太平天国时用的毛瑟枪、其余的是自制的土枪。不仅武器陈旧种类复杂，且弹药补充困难。毛瑟枪就根本配不上子弹，只是背着做样子而已。在这种状况下，宋哲元只好保留了原西北军使用的大刀，以弥补枪械之不足。为此，他给每位士兵配备了一把大刀。这刀与一般的单刀不同，它是由山西的镔铁打成，每把重7斤，全长7尺，刀面最宽处有4寸，刀沉力大，舞起来凛凛有风，很有杀伤力。宋哲元还特意聘请了一些身怀绝技的武术名家来担任教习，如当时享有盛名的武术大师李尧臣。李是河北冀县李家庄人，曾拜神拳宋彩臣为师，先练三皇炮锤拳，后练六合刀、追魂剑等十八般兵刃，会使暗器，功夫过硬，在社会上颇有名声。民国以后，李靠在家授徒为生。当宋哲元聘请他到军中担任教习后，他根据大刀的特点及日军步枪上刺刀的情况，结合原来的六合刀法，创造出一套“无极刀法”。此刀法既可当刀劈，又可当剑刺，其中有一招叫“空手夺白刃”，虚实结合，以奇制胜，后来在喜峰口、罗文峪的战斗中都发挥了极大威力，使日军在近战中毫无招架之力。日本兵因惧怕大刀砍头，并流传如被大刀砍掉脑袋死后就不能再托生成人，这大大影响了日军的士气。于是日军赶造铁脖套发给士兵套在脖子上，也成了一大奇观。

　　为了将无极刀法传播开来，军部先由各连队抽选骨干组成大刀队，以简元杰为队长，由李尧臣直接传授刀法，再由他们返回连队传授给全军。