Założenie biblioteki wiąże się z powstaniem w październiku 1928 r. Instytutu Pedagogicznego w Katowicach, z siedzibą w Państwowym Gimnazjum Klasycznym przy ul. Mickiewicza (obecnie III LO im. A. Mickiewicza w Katowicach). Pierwszego wpisu do księgi inwentarzowej dokonano 23 listopada 1928 r. i data ta jest uważana za początek działalności biblioteki. Księgozbiór liczył wówczas 400 woluminów i stanowił warsztat pracy dla pracowników i słuchaczy Instytutu. Jesienią 1939 r. Niemcy przeznaczyli księgozbiór na przemiał do fabryki papieru w Mikołowie. Udało się ocalić około 3000 książek, które ukryto w kominach wentylacyjnych gimnazjum. Księgozbiór ten wraz ze zwrotami książek wypożyczonych przed wojną był zalążkiem powojennej biblioteki.

W 1946 r. biblioteka zaczęła działać pod nazwą Centralna Biblioteka Pedagogiczna i mieściła się przy ul. Szkolnej 9. W przyjęła nazwę: "Pedagogiczna Biblioteka Wojewódzka". Stała się samodzielną placówką budżetową, merytorycznie podległą Kuratorium Oświaty. W 1951 r. otrzymała statut, rozpoczęło się także tworzenie oddziałów terenowych.

Biblioteka jeszcze dwukrotnie zmieniła swoją lokalizację. W 1967 r. została przeniesiona do budynku Liceum Ogólnokształcącego im. Mikołaja Kopernika przy ul. H. Sienkiewicza. Trzy lata później miała miejsce przeprowadzka do budynku przy ul. Kasprzaka 7 (po zmianie nazwy ulicy: Ks. kard. S. Wyszyńskiego), który do chwili obecnej biblioteka zajmuje wspólnie z Regionalnym Ośrodkiem Doskonalenia Nauczycieli "WOM" w Katowicach. W latach siedemdziesiątych nastąpił dalszy rozwój sieci bibliotek filialnych – w 1974 r. było ich 19.

W 1983 r. patronem biblioteki został Józef Lompa. Biblioteka otrzymała także medal pamiątkowy z okazji 200 rocznicy utworzenia Komisji Edukacji Narodowej, przyznawany przez Ministra Oświaty i Wychowania. Rok później utworzona została biblioteka składowa, powstał także Wydział Zbiorów Specjalnych, gromadzący szczególnie cenne materiały. W latach dziewięćdziesiątych nastąpił dalszy rozwój biblioteki, zorganizowane zostały kolejne wydziały: Muzeum Oświaty (przekształcony później w Wydział Instruktażowo-Metodyczny Edukacji Regionalnej) oraz Wydział Zbiorów Specjalnych – Zbiory Audiowizualne.

W 1999 r., w wyniku reformy administracyjnej organem prowadzącym PBW w Katowicach zostało Województwo Śląskie. Biblioteka posiadała wtedy 20 filii. Od 1 września 2006 r. biblioteki filialne w Rybniku, Raciborzu i Wodzisławiu Śląskim zostały wyłączone ze struktury PBW w Katowicach i weszły w skład utworzonego właśnie Regionalnego Ośrodka Doskonalenia Nauczycieli i Informacji Pedagogicznej "WOM" w Rybniku. Z dniem 31.12.2013 r. zakończyły swoją działalność trzy filie - w Czeladzi, Piekarach Śląskich i Świętochłowicach, w 2021 r. kolejne dwie filie: w Dąbrowie Górniczej i w Tarnowskich Górach. Obecnie Pedagogiczną Bibliotekę Wojewódzką im. Józefa Lompy w Katowicach tworzą: biblioteka macierzysta w Katowicach oraz 12 bibliotek filialnych działających w miastach na terenie województwa śląskiego - Będzinie, Bytomiu, Chorzowie, Gliwicach, Jaworznie, Mysłowicach, Pszczynie, Rudzie Śląskiej, Sosnowcu, Tychach, Zabrzu i Zawierciu.