Spanjoren kom till den engelska klubben sommaren 2016 efter framgångsrika år som tränare i först Barcelona och därefter Bayern München.
Totalt har han fört City till 17 stora titlar – bland annat sex segrar i Premier League, en seger i Champions League, tre FA-cuptitlar och fem ligacupsegrar.
– Fråga mig inte varför jag lämnar. Det finns ingen anledning, men djupt inom mig vet jag att det är dags. Inget varar för evigt, men om det hade gjort det så hade det varit här, säger 55-åringen.
Hans sista match blir på söndag hemma på Etihad Stadium mot Aston Villa i den sista omgången av Premier League.
Det är redan klart att Manchester City slutar tvåa i ligan bakom Arsenal. Londonklubben blev mästare i kavaj i tisdags när City endast nådde oavgjort mot Bournemouth.