De lokala myndigheterna uppger att de larmades om tragedin vid 15.30-tiden och att branden därefter spridit sig från radhus till radhus.
Polisens insatsledare Frode Presthus sade till VG vid 20-tiden att över 100 hundra bostäder har förstörts.
– Det är en katastrof, säger Presthus.
Vid 23-tiden höll polisen en sista pressträff för kvällen. Där meddelade insatsledaren Frodre Presthus att branden fortfarande inte är under kontroll.
– Det är sannolikt att vi inte kommer få det förrän sent in på lördagen. Det kommer nytt manskap från hela regionen. Det är många som börjar bli slitna då det här är väldigt krävande, säger Presthus.
Omkring 100 brandmän arbetar med att släcka branden och flera hundra personer har evakuerats från området. Polisen uppger att brandorsaken i nuläget är oklar.
– Den största utmaningen är vattentillförseln, eftersom det brinner på flera fronter samtidigt, säger Frode Presthus till VG.
Branden sprider sig söderut mot ett annat bostadsområde – även där har boende evakuerats.
Norges statsminister Jonas Gahr Støre säger till NTB att han känner en djup medkänsla för dem som har förlorat sina hem och tvingats evakuera.
– Mina tankar går också till brandmännen, räddningspersonalen och alla frivilliga som nu deltar i det mycket krävande släckningsarbetet och gör allt de kan för att förhindra att branden sprider sig vidare, säger han till den norska nyhetsbyrån.
Polisen har upprättat ett flygförbud i området, samtidigt som sex helikoptrar deltar i släckningsarbetet, rapporterar Aftenposten.
– Det är stora utmaningar med vindförhållandena, och vinden gör att branden sprider sig snabbt, säger Frode Presthus.
De första rapporterna om att branden spridit sig kom bara några minuter efter det ursprungliga larmet, enligt polisen.
En brandman har skadats lindrigt i arbetet med att begränsa branden. De finns inga uppgifter om att någon civil person har skadats. Drammens kommun har upprättat en krisgrupp och ett evakueringscentrum till följd av katastrofen.
– Det här är tragiskt. Det är en stor brand och vi känner med de drabbade. Kommunen kommer att göra vad de kan för att finnas på plats, säger Drammens borgmästare Kjell Arne Hermansen till VG.
Röda korset uppger att de kallat in 35 volontärer för att hjälpa de som har evakuerats från sina hem.
– Vi har mobiliserat stora resurser för att bistå med evakueringen och bemanningen av evakueringscentraler. 35 volontärer från Röda korset är aktiva, och fler är på väg, säger gruppledaren för beredskap och hjälpkårer i Akershus, Buskerud och Østfold, John Inge Haukaråsen, till NTB.
En omfattande brand härjar i Krokstadelva i Drammens kommun.
Källa: DN Satellitbild: Google