Ο Τερίμ, γεννήθηκε στις 4 Σεπτεμβρίου 1953 στα Άδανα και ξεκίνησε την καριέρα του ως αμυντικός στην τοπική Ντεμίρσπορ, στην οποία έμεινε μέχρι το 1974. Ο πατέρας του, Ταλάτ, ήταν Τουρκοκύπριος που είχε μεταναστεύσει στην Τουρκία.
Τα επόμενα εννέα χρόνια, ο Τερίμ αγωνίστηκε στη Γαλατάσαραϊ, με την οποία κατέκτησε τρία Κύπελλα και ένα Σούπερ Καπ. Στην Εθνική αγωνίστηκε 51 φορές και πέτυχε 3 γκολ.
Ο 70χρονος, ξεκίνησε την προπονητική του καριέρα δίπλα στον Γιούπ Ντέρβαλ, στη Γαλατάσαραϊ, ενώ για πρώτη φορά ανέλαβε ομάδα ως πρώτος προπονητής, το 1987, με την Ανκαραγκουτσού.
Στη συνέχεια μετακόμισε στην Γκιοζτεπέ και το 1990 έγινε ομοσπονδιακός προπονητής Ελπίδων. Το 1993, ανέλαβε την Εθνική Ανδρών και την οδήγησε για πρώτη φορά σε τελικά Ευρωπαϊκού Πρωταθλήματος, αυτά του 1996 στην Αγγλία.
Ακολούθησε μία εξαιρετικά επιτυχημένη περίοδος στη Γαλατάσαραϊ, όπου σε μία ομάδα με πρωταγωνιστές τους Ταφαρέλ, Χάτζι, Ποπέσκου, Ίλιε και πολλά ταλέντα από την Ακαδημία της, κατέκτησε τέσσερα συνεχόμενα πρωταθλήματα και το Κύπελλο ΟΥΕΦΑ του 2000, το πρώτο ευρωπαϊκό τρόπαιο τουρκικής ομάδας, κερδίζοντας στην Κοπεγχάγη 4-1 την Άρσεναλ στα πέναλτι.
Έτσι, για τους Τούρκους έγινε ο «İmparator», δηλαδή ο «Αυτοκράτορας».
Το 2000-01 έκανε το βήμα για τη Σέριε Α με τη Φιορεντίνα, ενώ στη συνέχεια κάθισε για λίγο στον πάγκο της Μίλαν.
Το 2002 επέστρεψε στη Γαλατάσαραϊ, σε μία όχι τόσο επιτυχημένη θητεία, για να αναλάβει στη συνέχεια για δεύτερη φορά την Εθνική Τουρκίας, την οποία οδήγησε μέχρι τα ημιτελικά του Euro 2008, όπου ηττήθηκε από τη Γερμανία. Ωστόσο, ο αποκλεισμός από τα τελικά του επόμενου Μουντιάλ, έφερε την παραίτησή του, το 2010.
Ακολούθησε τρίτη θητεία στη Γαλατά, όπου κατέκτησε άλλα δύο πρωταθλήματα, πριν αναλάβει επίσης για τρίτη φορά την Εθνική, εν μέσω προκριματικών για το Μουντιάλ 2014, όπου δεν κατάφερε να οδηγήσει την ομάδα του στην πρόκριση.
Το 2017 ξαναγύρισε στην αγαπημένη του Γαλατά, με την οποία σήκωσε άλλα δύο πρωταθλήματα Τουρκίας, φτάνοντας συνολικά τα οκτώ.
Η τέταρτη θητεία στη Γαλατά τελείωσε τον Ιανουάριο του 2022.
Eίναι παντρεμένος με την Φουλιά Τερίμ και έχουν δύο κόρες, τη Μερβέ και την Μπουσέ.