汉字传入日本后，促进了日文文字的形成，在这之前，日本并没有文字语言。据日本最古老的史书《日本书记》和《古事记》记载，汉字大约在公元3世纪开始传入日本的。一般认为，公元4世纪末至5世纪初汉字正式传入日本。到6世纪，已开始正式学习汉文，而且以学习真正的汉文为前提的学术界也逐渐形成。

到7、8世纪，汉字逐渐被日本人所接受，日本人撰写的汉诗、汉文已不鲜见，这说明汉字已被日本的知识阶层所掌握。总之，从4世纪后期，日本大和朝廷侵占朝鲜开始，到7世纪后期日本在白村江一战中失利，从朝鲜半岛退出为止，在此期间，随着朝鲜半岛政治形势的改变，一直都有大批所谓“归化人”来日，他们都是朝鲜籍汉人，精通汉文，受到日本朝廷的欢迎，并被赐予姓氏，他们和精通汉文的韩汉人出任史官或博士。随着日本和中国、朝鲜的文化交流日益频繁，日本的一些贵族、文人、商人也开始逐渐具有了汉字、汉文的书写和阅读能力。虽然经朝鲜来到日本的中国人很多，但通过他们带入日本的汉语词，从整体上来看并不是很多。日本人学习汉字，汉文大多是通过文献来学习的。特别是模仿唐朝的律令制度，设立大学以后，大学的教材就是佛教典籍，当时，《文选》等诗文也获得了日本人的喜爱，所以通过佛教传入日语的词汇相当多。

在现代日语形成的过程中，日语用汉字书写的词汇及其使用发生了几次大的变化。明治时期是日语由古代日语向现代日语急剧转变的时期，日语中汉字词汇的使用也呈现出了前所未有的变化，这一时期日语中新出了大量的汉字词汇。现代日语的汉字词汇体系基本上是在那个时期的基础上发展形成的。随着中日两国的交往，汉文典籍不断地传到日本、中国各个时代的汉字、汉语、文化知识不断地被日本人吸收，并与日本文化紧密地融合在一起。