Открытие библиотеки состоялось в феврале 1864 года. Инициаторами открытия выступили интеллигенты города, а общественность Воронежа и частные лица на пожертвования собрали до 7,5 тысяч томов книг, а также рукописи, картины и других материалы.
После революции она превратилась в государственное учреждение, и стала носить имя Я.М. Свердлова, вплоть до 1963 года, когда библиотеке дали имя поэта Ивана Саввича Никитина.
В тридцатые годы, после ее реорганизации в Областную публичную библиотеку, в ее адрес начали приходить обязательные экземпляры книжной продукции РСФСР. На нее были возложены функции руководства методической работой всех библиотек области. Книжный фонд, составлявший перед войной 600 тысяч экземпляров, был утрачен за военные годы, но к возобновлению работы библиотека приступила уже в 1944 году.
В 1965 году она получила статус научной. Начало 90–х годов для библиотеки отмечено кардинальными переменами в работе, среди которых переход к автоматизации основных библиотечных процессов и выход в Интернет.
Особенностью воронежской библиотеки является наличие в составе ее фонда коллекции, собранной писателем и литературоведом О.Г. Ласунским, работавшим в Воронеже. Коллекция насчитывает почти тысячу единиц хранения и включает в себя книги с дарственными надписями авторов, первые экземпляры губернской печатной типографии и многочисленные краеведческие материалы.
