Korzenie Chinów Japońskich sięgają wieków wstecz, choć ich nazwa może być nieco myląca. Początki tej rasy, wbrew nazwie, odnaleźć można w Chinach, a nie w Japonii. To właśnie z Państwa Środka, szlakiem jedwabnym, psy te trafiły do Japonii, stając się cennym nabytkiem na dworach cesarskich obu krajów. W pałacowych progach Chiny były otaczane niemal boską czcią - specjalnie wyznaczone osoby dbały o ich każdy kaprys, traktując je jako bezcenne skarby dostępne wyłącznie dla rodzin królewskich. Historycy kynologiczni sugerują nawet, że od Chinów Japońskich wywodzi się wiele innych ras azjatyckich, w tym pekińczyki. Część psów trafiła również do buddyjskich klasztorów, gdzie mnisi, poprzez selektywną hodowlę, rozwijali różnorodne typy, by następnie ofiarowywać je podróżującym dygnitarzom.