Основана је 1832. у књижари Глигорија Возаровића. Иницијални фонд чинили су поклони Возаревића и других српских културних посленика. За дан оснивања узима се 28. фебруар 1832. када је Димитрије Давидовић послао писмо кнезу Милошу о уређењу библиотеке. У новембру исте године Кнез Милош је наредио да се један примерак од сваке штампане књиге уступи библиотеци. Тако је установљена институција обавезног примерка. Од 2002. године Народна библиотека Србије као свој дан слави управо 28. фебруар. По истраживању Дејана Ристића, објављеном у књизи „Кућа несагоривих речи”, библиотека је основана 12. јула 1838. у Крагујевцу, а наредне године пресељена у Београд. Успон у раду Народне библиотеке настао је 1853. године када је указом кнеза Милоша уведено звање државног библиотекара у рангу професора Велике школе.
У време када је библиотекар био Јанко Шафарик (1861–1869), библиотека је пресељена у Капетан-Мишино здање и ту је дочекала Први светски рат. Почетком Првог светског рата један део вреднијих, посебно старих рукописних књига, је евакуисан из библиотеке и спакован у воз. Током рата један део тих књига је нестао и касније враћен, док постоје књиге које до сада нису враћене.
У Првом светском рату библиотека је остала без својих просторија па је 1920. године за њене потребе откупљена „Картонажа Милана Вапе“, на Косанчићевом венцу. Зграда библиотеке на Косанчићевом венцу погођена је 6. априла 1941. приликом немачког бомбардовања Београда и велики део књижног фонда је тада уништен. Уништен је књижни фонд од око 500000 свезака, као и збирка од 1424 ћирилична рукописа и повеље (12–17. век), картографска и графичка збирка од 1500 бројева, збирке од 4000 наслова часописа и 1800 наслова новина, затим значајна и недовољно проучена збирка турских докумената о Србији, инкунабуле и старе штампане књиге и целокупна преписка значајних личности из културе и политичке историје Србије и Југославије (Лукијан Мушицки, Вук Караџић, Ђура Даничић, Павел Шафарик). Осим тога нестали су сви инвентари и каталози. Из старе збирке рукописа сачувао се само један рукопис који је у том тренутку био ван библиотеке. Неки од рукописа које се чувају или су чувани у Народној библиотеци су: Летопис Попа Дукљанина (београдски рукопис), Никољско јеванђеље, Минхенски псалтир, Ћирилични Рампацетов буквар, из 1597. године и други. Најстарији рукопис је Београдски паримејник из 13. века.
У априлу 1946. године библиотека добија зграду некадашњег хотела „Српска круна“ на крају Кнез-Михаилове улице, у тој згради се налази Библиотека града Београда. После Другог светског рата фонд Народне библиотеке је значајно допуњен поклонима и легатима, међу дародавницма су били Милан Ракић, Милош Црњански, Десанка Максимовић, Тихомир Ђорђевић, Љубица и Даница Јанковић, Љубомир Мицић, Љубица Цуца Сокић и други. Камен темељац за изградњу нове наменске зграде Народне библиотеке Србије свечано је постављено 20. октобра 1966. године, а радови на здању површине 24.000 метара квадратних завршени су шест година касније 1972. године. Пресељење у нову зграду започело је маја 1972. године. Нова наменска зграда Народне библиотеке на Врачару свечано је отворена 6. април 1973. године. Зграду је пројектовао архитекта Иво Куртовић и убраја се у споменике културе. Први страни државник који је посетио ново здање националне библиотеке био је канцелар СР Немачке Вили Брант који је био у службеној посети СФР Југославији од 15. до 19. априла 1973. године, а том приликом поклонио је библиотеци неколико књига. Познати француски књижевник Андре Малро библиотеци је поклонио 1975. године рукопис свог дела „Глава опсидијана”
Све до 2002. године 6. април је обележаван као Дан библиотеке, а од те године то је 28. фебруар, датум када је 1832. године основана народна библиотеке. Од 2013. године 28. фебруар је и Национални дан књиге. Од 2002. године је 6. април Дан сећања на страдање библиотеке у Априлском рату.