Η ιστορία της Βιβλιοθήκης ξεκινά στο τέλος του 17ου αιώνα, είναι συνδεδεμένη με την έναρξη και την ιστορία του Σχολείου Κοζάνης (1675/1684) με πρώτο δάσκαλο, το λόγιο και συγγραφέα, Γεώργιο (Γρηγόριο) Κονταρή (1638- 1698). Το 1690 παραδίδονται στο μοναχό Ιωσήφ 440 τόμοι βιβλίων, σύμφωνα με ατεκμηρίωτη αναφορά του ιστορικού Π. Λιούφη. Το 1791 παραδόθηκαν στον ιεροδιδάσκαλο Ιωνά 545 τόμοι της Βιβλιοθήκης, σύμφωνα με έγγραφο, το οποίο γνωρίζουμε από τον Α΄ τόμο του Καταλόγου της Βιβλιοθήκης που τύπωσε ο Ν. Π. Δελιαλής το 1948.
Η Βιβλιοθήκη στεγαζόταν στην έδρα της επισκοπής, από το 1745, πιθανώς όταν μεταφέρθηκε η έδρα από τα Σέρβια στην Κοζάνη, κοντά στον ναό του Αγίου Νικολάου έως ότου ανεγέρθη το 1813 ξεχωριστό οίκημα.
Η κοινοτική βιβλιοθήκη, ο “Οίκος βελτιώσεως” και το σχολείο έχουν ανεγερθεί στον ίδιο χώρο πλησίον και δεξιά της εκκλησίας του Αγ. Νικολάου και υπεύθυνοι έφοροι της βιβλιοθήκης είναι δάσκαλοι του σχολείου. Οι αδελφοί Τακιατζή, μαζί με τους αδελφούς Παπαδημητρίου ήταν οι κύριοι χρηματοδότες της ανέγερσης του κτηρίου και του εμπλουτισμού με νέα βιβλία. Το 1873, όπως σημειώνει ο Π. Ν. Λιούφης, έγινε επέκταση του κτηρίου της Βιβλιοθήκης επί θητείας του Μητροπολίτη Ευγένιου και νέα αρίθμηση και ταξινομική ανακατάταξη των βιβλίων με προτροπή του σχολάρχη της ” Ελληνικής σχολής” Ιωάννη Καλοστύπη, στην οποία φοιτούν 79 μαθητές. Ο κατάλογος που δημιουργήθηκε, κώδικας 88 της ΚΔΒΚ, είναι ο πρώτος κατάλογος της βιβλιοθήκης που διασώζεται και στον οποίο καταγράφηκαν 2.641 έντυπα και 111 (η 114) χειρόγραφα. Το 1874 ιδρύθηκε ο Φιλολογικός Σύλλογος ο Φοίνιξ, προκειμένου να οργανώσει αναγνωστήριο εφημερίδων και βιβλίων ο οποίος διαλύθηκε το 1876. Το 1880 η βιβλιοθήκη αριθμεί 6.000 τόμους και πολλά χειρόγραφα, ενώ ο κανονισμός της κοινότητος Κοζάνης, του 1895 αναφέρει τον τρόπο λειτουργίας της βιβλιοθήκης και τα καθήκοντα του εφόρου, του οποίου η θητεία είναι τριετή.
Την πρωτοχρονιά του 1916 ιδρύθηκε το Αναγνωστήριον Κοζάνης, σωματείο με σκοπό την πνευματική καλλιέργεια της πόλης, το οποίο παρέλαβε τα βιβλία της κοινοτικής βιβλιοθήκης, ενώ το 1923 η Βιβλιοθήκη παραχωρείτε στο Δήμο Κοζάνης, η συλλογή περιλαμβάνει : 6.251 τόμους βιβλίων, 584 χειρόγραφους κώδικες και κώδικες εγγράφων και 307 περιοδικά. Επιμελητής ανέλαβε ο φιλόλογος Γ. Παναγιωτίδης
Από το 1923 η Βιβλιοθήκη στεγάστηκε στο παλαιό Δημαρχείο ως την κατεδάφισή του το 1932, για να χτισθεί το νέο δημαρχιακό κτήριο όπου το 1934 μεταστεγάστηκε. Επί θητείας του Νικολάου Π. Δελιαλή, ως εφόρου της Βιβλιοθήκης γίνεται προσπάθεια απογραφής και οργάνωσης της Βιβλιοθήκης, που χάρη στην απόφαση του Δημοτικού Συμβουλίου Κοζάνης και στις προσπάθειες του Π. Δελιαλή διασώθηκε κατά τη γερμανική Κατοχή. Το 1945 ιδρύθηκε το Μόνιμο Τοπικό Αρχείο Κοζάνης των Γενικών Αρχείων του Κράτους.
Η Δημοτική Βιβλιοθήκη το 1963 εγκαταστάθηκε στην επέκταση του Δημαρχείου και πήρε το επίθετο Κοβεντάρειος για να τιμηθούν οι δωρητές. Στο κτήριο στεγαζόταν έως το 1985, όταν μεταφέρθηκε στο 2ο όροφο του κτηρίου στην πλατεία 28ης 7, (1960-1995 διευθυντής ο Β. Σιαμπανόπουλος). Από το 1986 αποτελεί ΝΠΔΔ του Δήμου Κοζάνης, ενώ από το 1995 έως το 2011 υποστηρίχθηκε από το Ινστιτούτο βιβλίου και ανάγνωσης με προγραμματική σύμβαση βιβλιοθήκης, υπουργείου πολιτισμού και Δήμου Κοζάνης (Διευθυντές: Β.Π. Καραγιάννης, Κωνσταντίνος Ντίνας)
Αρχές Μαΐου ξεκίνησε η διαδικασία της μετεγκατάστασης στο νέο σύγχρονο κτήριο, εμβαδού περίπου 6.800 τ.μ., στο χώρο απέναντι από το δημοτικό κήπο. Το κτήριο περιλαμβάνει μεταξύ άλλων, μουσείο της βιβλιοθήκης, χωριστή παιδική βιβλιοθήκη, αναγνωστήριο, τμήμα δανεισμού, αίθουσες παλαιτύπων και αρχείων, αμφιθέατρο, γραφεία, χώρους εργαστηρίων, χώρους συνάντησης και αναψυχής. Στην επικείμενη μεταφορά της συλλογής περιλαμβάνονται περισσότερα από 120.000 χιλιάδες τεκμήρια (70.000 καταλογογραφημένα, 560.000 ψηφιακές σελίδες), που αντιστοιχούν σε έντυπα, κώδικες χειρογράφων, κώδικες εγγράφων, λυτά έγγραφα, γεωγραφικούς χάρτες, εφημερίδες, περιοδικά, φωτογραφική συλλογή, αρχαιολογική συλλογή, πίνακες ζωγραφικής, cd, dvd, και λοιπός εξοπλισμός.
