1995 εξελέγη μέλος της Κεντρικής Επιτροπής της Νέας Δημοκρατίας. Στις 21 Μαρτίου 1997 και ύστερα από την εκλογική ήττα της Νέας Δημοκρατίας το 1996 από το ΠΑ.ΣΟ.Κ., εκλέχτηκε από το 4ο συνέδριο του κόμματος πρόεδρος της Νέας Δημοκρατίας. Τον Φεβρουάριο του 1999 εξελέγη αντιπρόεδρος του Ευρωπαϊκού Λαϊκού Κόμματος, θέση στην οποία επανεξελέγη τον Οκτώβριο του 2002.
Στις εκλογές του 2000 έχασε οριακά τη νίκη και την πρωθυπουργία από τον Κώστα Σημίτη, πρωθυπουργό και πρόεδρο του ΠΑ.ΣΟ.Κ.
Στις 7 Μαρτίου 2004, ως αρχηγός της Νέας Δημοκρατίας, αναδείχθηκε νικητής στις βουλευτικές εκλογές με ποσοστό 45,36% εξασφαλίζοντας, έτσι, κοινοβουλευτική πλειοψηφία 164 εδρών επί συνόλου 300. Έλαβε εντολή σχηματισμού κυβέρνησης από τον Πρόεδρο της Δημοκρατίας και στις 10 Μαρτίου ορκίστηκε Πρωθυπουργός και υπουργός Πολιτισμού. Στον ανασχηματισμό της 14ης Φεβρουαρίου 2006 παραιτήθηκε από το χαρτοφυλάκιο του Υπουργείου Πολιτισμού.

Το 2007 προκήρυξε πρόωρες εκλογές, τις οποίες κέρδισε η Νέα Δημοκρατία στις 16 Σεπτεμβρίου, εξασφαλίζοντας ποσοστό 41,8% και 152 έδρες στη Βουλή, έναντι 38,1% για το ΠΑΣΟΚ και 102 έδρες. Την επόμενη ημέρα των εκλογών ο Καραμανλής έλαβε εντολή για σχηματισμό νέας κυβέρνησης από τον Πρόεδρο της Δημοκρατίας, Κάρολο Παπούλια. Η κυβέρνηση αυτή ορκίστηκε και ανέλαβε καθήκοντα στις 19 Σεπτεμβρίου 2007.
Δύο χρόνια μετά τη νέα εκλογική νίκη, το 2009, προκηρύσσει πάλι πρόωρες εκλογές, αυτή τη φορά επικαλούμενος τα προβλήματα της ελληνικής οικονομίας αλλά πιο πολύ την άρνηση του ΠΑΣΟΚ να συνεργαστεί στο θέμα της εκλογής Προέδρου της Δημοκρατίας, Κάρολου Παπούλια.
Η ανακοίνωση έγινε στις 2 Σεπτεμβρίου του 2009 από τον ίδιο τον πρωθυπουργό σε τηλεοπτικό διάγγελμα.
Οι εκλογές στις 4 Οκτωβρίου 2009 δίνουν τη νίκη στο ΠΑΣΟΚ. Το ίδιο βράδυ, σε δημόσια δήλωσή του για το αποτέλεσμα των εκλογών δήλωσε ότι, καθώς οι πολίτες δεν ενέκριναν την πολιτική των αναγκαίων αποφάσεων για τις χρόνιες αδυναμίες της οικονομίας μας και την έξοδό της από την οικονομική κρίση με τις μικρότερες συνέπειες, σεβόμενος την απόφασή τους, δρομολογεί τις διαδικασίες για την εκλογή νέου προέδρου της Νέας Δημοκρατίας.
Κατά τη διάρκεια της θητείας του στην Πρωθυπουργία διάφορες υποθέσεις απασχόλησαν τη Δικαιοσύνη, σε κάποιες εκ των οποίων ενεπλάκησαν στενοί συνεργάτες του. Αναλυτές ανέφεραν ότι εξαιτίας των υποθέσεων αυτών υπέστη μεγάλη φθορά η δημόσια εικόνα του, παρ’ όλο που σε κάποιες από αυτές ο ίδιος δεν είχε προσωπική ανάμειξη. Ανάμεσα σε αυτές μπορεί να αναφερθεί, η υπόθεση της Μονής Βατοπεδίου, η υπόθεση των δομημένων ομολόγων, η υπόθεση του Γενικού Γραμματέα του Υπουργείου Πολιτισμού Χρήστου Ζαχόπουλου, οι υποθέσεις Siemens, ο θάνατος του Διοικητή του ΙΚΑ Ι. Βαρθολομαίου, η απαγωγή Πακιστανών το καλοκαίρι του 2005 και η υπόθεση των υποκλοπών, στην οποία θύμα ήταν και ο ίδιος ο Πρωθυπουργός. Με απόφαση του εισαγγελέα η υπόθεση των υποκλοπών μπήκε στο αρχείο.

Έντονη κριτική είχε δεχθεί και για τα λάθη και τις ολιγωρίες του κρατικού μηχανισμού στο θέμα της κατάσβεσης των μεγάλων πυρκαγιών που πυρπόλησαν τεράστιες δασικές εκτάσεις σε όλη την Ελλάδα κατά τη διάρκεια της καλοκαιρινής περιόδου του 2007. Ειδικά στην περίπτωση της Πάρνηθας, από κακές εκτιμήσεις, στελέχη των αρμοδίων υπηρεσιών για να αποφύγουν το ενδεχόμενο ηλεκτρικού black out οδήγησαν στην πλήρη καταστροφή του δρυμού του ομώνυμου όρους.
Παρόμοια κριτική δέχθηκε και κατά τις μεγάλες πυρκαγιές που πυρπόλησαν τεράστιες δασικές εκτάσεις στην Αττική τον Αύγουστο του 2009.

Έντονες διαμαρτυρίες και αντικυβερνητικές διαδηλώσεις προκάλεσε η ψήφιση του Νόμου Πλαίσιο για τα Πανεπιστήμια, αλλά και η δολοφονία του Αλέξανδρου Γρηγορόπουλου από ειδικό φρουρό στα Εξάρχεια που οδήγησε στις Ταραχές του Δεκεμβρίου του 2008.

Στον Καραμανλή ασκήθηκε έντονη κριτική επίσης για το αιφνιδιαστικό κλείσιμο της Βουλής τον Μάιο του 2009.
Με την εξέλιξη αυτή παραγράφονταν όλες οι υποθέσεις που εκκρεμούσαν και αφορούσαν την πρώτη περίοδο διακυβέρνησης και η κίνηση αυτή χαρακτηρίστηκε από την αντιπολίτευση ως κίνηση συγκάλυψης των σκανδάλων της πρώτης περιόδου.

Σύμφωνα με επιστολές του πρώην υφυπουργού Οικονομικών Πέτρου Δούκα που δημοσιεύτηκαν στην εφημερίδα "Βήμα της Κυριακής" ο Καραμανλής γνώριζε την οικονομική κατάσταση της χώρας, αλλά αδράνησε, επειδή, όπως ισχυρίζεται ο Δούκας, "δεν ήθελε να στριμώξει τον ελληνικό λαό" και επειδή "επικρατούσε κλίμα γενικότερης ευφορίας, ότι πάμε καλά και ότι μπορουμε να τα καταφέρουμε με λιγότερες θυσίες".
Ο Δούκας υποστηρίζει ότι είχε ζητήσει περικοπή δαπανών από το 2004, αλλά η απάντηση ήταν αρνητική, λόγω των Ολυμπιακών Αγώνων της Αθήνας.
Επί πρωθυπουργίας Κώστα Καραμανλή ολοκληρώθηκε ο κύκλος διαπραγματεύσεων, μνημονίων και συμφωνιών που οδήγησαν στην έναρξη κατασκευής του αγωγού αργού πετρελαίου Μπουργκάς-Αλεξανδρούπολη, που ενώνει το λιμάνι Μπουργκάς της Βουλγαρίας με το λιμάνι της Αλεξανδρούπολης.
Η αρχική σύλληψη της ιδέας για την κατασκευή του αγωγού χρονολογείται το 1993. Η υπογραφή του Μνημονίου Συνεργασίας για την υποστήριξη της κατασκευής του αγωγού, τον Απρίλιο του 2005 στη Σόφια, η συνάντηση κορυφής των τριών ηγετών, του Ρώσου Προέδρου Βλαντιμίρ Πούτιν, του Βούλγαρου ομολόγου του Γκεόργκι Παρβάνοφ και του Έλληνα Πρωθυπουργού Κώστα Καραμανλή, στις 4 Σεπτεμβρίου στην Αθήνα, αλλά και η μονογραφή του κειμένου της Διακρατικής Συμφωνίας, στο Μπουργκάς, στις 7 Φεβρουαρίου 2007, αποτέλεσαν σταθμούς για την πρόοδο του έργου.
Στις 11 Ιουνίου 2010 η Βουλγαρία ανακοίνωσε το πάγωμα του σχέδιου υλοποίησης του αγωγού υπο τον φόβο περιβαλλοντικών επιπτώσεων στο λιμάνι του Μπουρκάς, ενώ στις 5 Νοεμβρίου του 2011 εγκρίθηκε η περιβαλλοντική μελέτη για το Λιμάνι του Μπουργκάς απο το Υπουργείο περιβάλλοντος της Βουλγαρίας και η συνέχιση της υλοποίησης του εργου.