I Toronto hade Ullmark till uppgift att stå emot sin målfarlige landsman William Nylander, något han klarade med den äran.
Varken Nylander eller hans lagkamrater lyckades få hål på Ullmark, som räddade 27 skott och höll nollan för första gången sedan han lämnade Boston för Ottawa inför säsongen.
– Det är alltid härligt att vinna, oavsett vilka man möter, säger 31-åringen till reportrar efter matchen.
Segern var välbehövlig för det kanadensiska laget, som hittills haft svårt att vinna på bortaplan.
Florida hade vunnit sju matcher i rad inför hemmamatchen mot New Jersey. Men någon åttonde seger blev det inte. I stället tog gästerna hem segern med 4–1 efter 34 räddningar av Markström. New Jerseys Jesper Bratt noterades för två assister.
