Tyfonen Shanshan drog in över södra Japan tidigt på torsdagsmorgonen, lokal tid. Varningar på högsta nivå utfärdades för regn, kraftiga vindar och höga vågar. På Japans södra ö Kyushu har vindbyar på upp till 70 meter per sekund rapporterats.
Senare under torsdagen har tyfonens styrka försvagats något, men rekordstora mängder nederbörd väntas falla i flera prefekturer under de kommande dagarna.
Majoriteten av de drygt fem miljoner människor som uppmanas evakuera bor på ön Kyushu, men även på flera håll i centrala Japan uppmanas befolkning att lämna sina hem, skriver BBC.
Enligt Japans meteorologiska myndighet JMA väntas tyfonen fortsätta röra sig över landet, och nå huvudstaden Tokyo under helgen eller början av nästa vecka. Den väntas dock hinna försvagas kraftigt innan dess.
På tisdagen dog tre personer i ett jordskred till följd av det kraftiga regnet inför tyfonens ankomst. En fjärde person bekräftades död på torsdagen, efter att taket på ett hus kollapsat. Ytterligare minst 90 personer har skadats, enligt BBC.
Flera hundra tusen hem uppges ha lämnats strömlösa. Hundratals flyg har ställt till och från södra Japan, och företag som Toyota och Nissan har stängt ned fabriker med hänvisning till de anställdas säkerhet.