隋炀帝仅仅看了个国书的开头就不高兴了，对管外交的鸿胪卿说：
“蛮夷书有无礼者，勿复以闻。”
也就是说，这帮蛮夷的书信太无礼了，不要再送上来了！隋炀帝又是个急性子，我们可以想象一下他当时说话的语气。
隋炀帝究竟是因为国书中的哪一部分而生气，史书中没有明说，目前有几种推断。有人认为是“天子”这个说法让隋炀帝生气，因为天子只能有一个。有人认为是因为这个国书表明了日本天皇想和他这个隋朝皇帝平起平坐。有人认为是“日出处”和“日没处”这个对比让隋炀帝很不满，因为这样写好像显得日本犹如日出一般在逐渐繁荣昌盛，隋朝犹如日落一般在逐渐衰落一样。
不过有人说隋炀帝气得准备直接讨伐日本，这就属于夸张了，因为史书中没有任何隋炀帝试图讨伐日本的记录。
此时隋炀帝眼里最重要的显然还是远征高句丽，高句丽不是后来的朝鲜，当时是东北亚的一个大国，对隋朝构成了巨大威胁。
之后不久隋炀帝就对高句丽发起了大规模进攻，但这却成了隋朝灭亡的导火索，这就是后话了。
回到当时，隋炀帝虽然生气，但最后还是给日本回了国书，还赐给日本一件礼物，正是开头提到的那块奇特的木头。这可不是一般的木头，而是黄熟香，属于香木的一种。这是埋在土中很久的熟香，香气浓厚，还可以入药。这块木头长156厘米，重11.6千克，呈锥形，在当时也属于珍贵的大型香木了。
这块黄熟香后来被小野妹子等人顺利带回国内，被日本皇室供奉起来，后来又供奉给了东大寺，成为了日本的国宝。日本人将这块香木命名为“兰奢待”，也就是在闲寂处候待的意思，是一个很有意境的名字，可见其对这块木头的重视程度。
但是奇怪的是，小野妹子把这么大一块香木交给了天皇，隋炀帝给他的国书他却没能交给天皇，据他自己的说法，是因为在路途中不慎遗失了。这就很奇怪，国书也不是一个容易被忽略的小物件，而且如此重要的东西，应该严加保管才对，怎么就莫名其妙丢了呢？
因此天皇震怒，斥责小野妹子，朝中大臣也要判他流放的刑罚。但此时圣德太子站了出来，认为小野妹子毕竟担任遣隋使首领有功，不应该受到如此重的处罚。推古天皇赦免了小野妹子，小野妹子这才逃过一劫。
不过疑团还是没有解开，那么重要的国书怎么就丢了呢？对此史书没有明确记载，史学界给出了三种推测。
第一种是国书确实不慎遗失了，毕竟当时海上风浪大。
第二种是隋炀帝在国书中指责甚至怒斥了日本天皇，小野妹子害怕天皇看到之后震怒，因此惩罚自己，所以骗众人说国书遗失了。
第三种是小野妹子其实在正式上交国书前已经暗中给天皇看过了，天皇也看到了隋炀帝对自己的指责之语，但又不好回复，因此才让小野妹子说国书是遗失了。毕竟没收到国书的话，自然也不用回复了。
