至于 “武士刀只能武士使用”的概念形成，其实与丰臣秀吉颁布的“刀狩令”以及江户时代，一系列限制平民使用武器的政令有关。先来说说刀狩令。
事实上，历史上第一个颁布刀狩令的，是织田信长手下将领柴田胜家。丰臣秀吉的刀狩令，则是因为规模空前才广为人知。和柴田胜家一样，丰臣秀吉颁布法令的目的，同样是是为了减少民间持有武器的数量，防止可能出现的暴乱或者说反抗。
当时，战国时代刚刚结束，即使是普通平民往往也会自备几件武器防身，就连明智光秀都是在战败后，被一群“落武者狩”逼得自尽。刀狩令收缴平民手中的武器，就是为了减少民间武力的泛滥情况。天正十六年七月八日，丰臣秀吉颁布刀狩令，农民和僧侣禁止拥有刀、弓、枪、铁炮等武器，收缴来的武器被用于铸造京都寺庙里的钉子。
自此，平民百姓只能使用农具，子子孙孙专事耕作，而可以持有武器，则成为武士的特权，其职分、名誉意识也得到了强化。这还不算完，天正19年（1591年），丰臣秀吉再次颁布身份法令，严禁武士与贱民获得町人与百姓身份，进一步固化武士身份的概念。结合太阁检地法，地方势力动摇幕府统治的能力被大大削弱了。
之后，德川幕府又颁布《武家诸法度》，明确规定武士“专事文武弓马之道”。自此，武士被彻底从农民中剥离出来。佩戴武器成了武士的特权，也成了甄别其身份的关键。年幼的武士并不佩刀，主要以发型区别身份，而成年武士则以佩刀和服装作为其地位的标志。佩刀，也因此成为武士的特权。
在当时，由于成平日久，武士阶层中许多人可能终其一生，都不会遭遇战事，而是承担文职工作。但即使这样，他们依旧将“剑道”当做必修课，从某种意义上讲，武士刀以及剑道，已经成为武士阶层强化其自身认同的关键媒介。
当然了，规则这种东西，往往是用来被人们打破的。更何况，由于治安的混乱，即使是在相对和平的江户时代，平民佩戴武器防身也并不被完全禁止。这就导致一种名为“胁差”的短兵兴起。胁差这种刀具，如今已经被归为武士刀的一种，但从其形成的历史来看，它之所以能够大规模流行，最主要的原因就是因为它往往被排除在“刀”之外。
虽然如今的日本刀主要依靠长度进行分类，但在古代，这些武器的分类相当实用化。太刀和打刀有些类似，按照《图解世界战争战法》的说法，可以通过佩刀刀刃的朝向加以区分，吊在带子上、刀刃朝下的武士刀是“太刀‘，而别在腰上、刃口朝上的则是”打刀”。
虽然在一开始，打刀并不如大刀流行，只有低阶武士才会用打刀，但由于打刀抽出时更加迅捷，方便作战，它很快就开始流行起来。室町幕府末期，武士们除了携带一柄用于作战的打刀外，还会准备一口方便在室内等复杂环境施展的短兵器。这种短兵器后来就演化为了胁差。
到了丰臣秀吉的安土桃山时代，佩刀模式基本就已经形成。和长刃的打刀不同，胁差的刃长一般在一尺到两尺左右。一尺七寸到两尺的胁差，就已经算是胁差家族里的大家伙了，被称为大胁差。一尺出头的是小胁差，至于一尺五寸到一尺七寸的，则是中胁差。
江户时代时，德川幕府对武士刀的形制进行了规定，在其颁布的诸法度中，有许多类似“町民带刀禁止”的条文，不过，这里的“刀”并不是指所有刀具，而是专指太刀、野太刀、打刀这类指定尺寸以上的长刀。胁差则被正式归为短兵器，和禁止非武士携带的长刃刀具不同，这类兵器并不受官府管制，平民在出行时都可以备一把胁差防身。
