Před rokem 1918 neexistovala v Moravské Ostravě jediná větší knihovna, která by systematicky plnila své cíle.

Na území města vznikla poměrně široká síť nejrůznějších technických, hospodářských, pěveckých a vzdělávacích spolků, z nichž většina měla také své knihovny. Nepatřily zdaleka mezi knihovny veřejné, byly dostupné jen úzkému okruhu čtenářů. První knihovna, která sloužila širší veřejnosti a která měla v jistém smyslu charakter veřejné lidové knihovny, byla od r. 1898 knihovna spolku "Veřejná knihovna a čítárna pro Moravskou Ostravu a okolí", která se během své činnosti potýkala s mnoha obtížemi v oblasti finanční i odborné. Měla přes 5 tisíc svazků knih a byla doplňována novými knihami z naší i světové produkce.

Právě knihovní fondy této knihovny, která ukončila svou činnost v roce 1921, se staly základem pro nově vznikající veřejnou knihovnu města Moravské Ostravy. Tato knihovna získala bezplatně téměř dva tisíce svazků, ke kterým později přibyly knihy darované knihovnou spolku Občanská beseda.
 

Dne 25. května 1920 došlo na plenární schůzi správní komise města Moravské Ostravy k rozhodnutí zřídit ve městě obecní veřejnou knihovnu a čítárnu. Za tím účelem byla vytvořena knihovní rada. Nový výbor do ní kooptoval za spolek "Veřejná knihovna a čítárna pro Moravskou Ostravu a okolí" dlouholetého předsedu Adolfa Podroužka, za čtenáře prof. B. Štěpničku a spisovatele Dr. Vojtěcha Martínka.

Obec dala knihovně k dispozici místnosti Německé obecné a občanské školy chlapecké v Hasnerově ulici č. 8 (dnešní Purkyňova ulice). Byly současně vyhrazeny jak knihovně české tak německé, přitom první podlaží bylo přiděleno české veřejné knihovně, přízemí knihovně německé.

Po roce 1921 vznikly i v ostatních obcích další veřejné knihovny dotované obcemi. Po sloučení sousedních obcí s Moravskou Ostravou po roce 1924 vznikla potřeba plné unifikace činnosti těchto institucí. Význam knihovny začal stoupat, neboť se výrazně rozšířil okruh čtenářů.

Bylo nutno rozšířit také knižní fond a dosavadní umístění knihovny se ukázalo jako nevyhovující. Knihovna se v roce 1929 přestěhovala do nové budovy městské spořitelny, která jí postoupila celé jedno křídlo. V přízemí byla umístěna půjčovna a skladiště, v prvním patře pak studovna a čítárna. Knihovna měla dobrou podporu ze strany obce, takže dotace vysoko převyšovala zákonem stanovený příspěvek a umožnila na svou dobu knihovnu velmi moderně a účelně vybavit.

Od roku 1939 bylo vše české potlačováno. Tato skutečnost se nevyhnula ani knihovně a jen zásluhou tiché dohody s policejními úředníky mohly být knihy zabavené v období okupace po válce vráceny zpět do půjčoven. Již tři dny po osvobození zahájily knihovny svou činnost. Bohužel, po únorovém převratu v roce 1948 dochází k likvidaci veškeré knižní produkce, jež po stránce ideologické nebyla v souladu se zájmy vládnoucí komunistické strany. Často tak byly zničeny knihy, které přečkaly nejhorší roky války.

V prosinci roku 1950 vydalo Ministerstvo informací a osvěty směrnici o zřízení jednotné sítě lidových knihoven řízené státem. Na základě této směrnice se z Ústřední městské knihovny v Ostravě stala Krajská lidová knihovna, která se tímto stala knihovnickým a metodickým ústředím Severní Moravy.

Rozvoj městské knihovny je v 60. letech poznamenán územními změnami, kdy vzniká Severomoravský kraj a řízení knihovny přechází na město a posléze zpět na Krajský národní výbor, což s sebou nese celou řadu vnitřních změn a reorganizací bez patřičného vnějšího efektu.

V roce 1966 se v ústřední knihovně města zavádí bibliograficko-informační služba. V roce 1968 došlo k přestěhování dětského oddělení na Tyršovu ulici. Také byla zřízena odkladová skladiště a depozitáře, a to na Tyršově ulici, v místnostech Slezskoostravské radnice a místnostech propůjčených Obvodní knihovnou ve Slezské Ostravě.

V roce 1969 je Krajská knihovna přejmenována na Knihovnu města Ostravy a tento název zůstává nezměněn do dnešních dnů.

Vývoj knihovnictví spěl v 80. letech k úplné centralizaci, což samozřejmě zasahuje i Knihovnu města Ostravy. Usnesením ostravského národního výboru bylo schváleno zavedení jednotného řízení veřejných knihoven v Ostravě s platností od 1.1.1980. Veřejné knihovny jsou sloučeny v centralizovaném systému, který tvoří Knihovna města Ostravy s pobočkami rozmístěnými na území města Ostravy. Hospodářské a technické předpoklady pro práci KMO zajišťuje provozně ekonomické oddělení. Útvar knihovnických služeb KMO zajišťuje komplexní služby čtenářům. Centralizaci bylo možné hodnotit kladně, neboť ostravská knihovna pracovala tímto způsobem již dříve a změny nebyly tak markantní.

90. léta jsou charakterizována především změnou politického a společenského klimatu. To samozřejmě poznamenalo život knihovny a to bez nadsázky ve všech oblastech. Knihovna města Ostravy je příspěvkovou organizací statutárního města Ostravy od roku 1990.

Knihovna města Ostravy byla až do roku 1996 jedinou knihovnou své velikosti bez vlastní ústřední budovy. Přesto, že byla již v roce 1992 ústředí knihovny přidělena budova na ul. 28 října, která byla po nezbytné rekonstrukci schopna zajistit potřebné zázemí pro poskytování služeb, ústředí knihovny poskytovalo své služby ve třech lokalitách umístěných v různých částech města.

V budově na nám. Dr. E. Beneše (budova spořitelny) byla neustále umístěna  půjčovna pro dospělé, hudební oddělení, studovna a oddělení BIS, dětské oddělení umístěno v domě na Tyršově ulici (do roku 2005) a v budově na ul. 28. října byla v roce 1993 znovu otevřena veřejná čítárna.

Mimo prostorové roztříštěnosti bylo hlavním problémem ústřední knihovny nevyhovující provozní situace v budově na nám. Dr. E. Beneše, což se projevilo např. v roce 1995 úplným odpojením provozů od elektrické sítě.

Ústřední knihovna se do upravených prostor na ul. 28. října 2 (u Sýkorova mostu), přestěhovala na podzim 1996 a v lednu 1997 zde veřejnost přivítaly půjčovna pro dospělé, studovna a hudební oddělení. V roce 2002 přibylo ještě Britské centrum KMO.

V únoru roku 2001 oslavila KMO 80. výročí svého založení uspořádáním výstavy "Knihovna pro město" ve vstupních prostorách Magistrátu města Ostravy spojenou s podpisem smlouvy o spolupráci s Verejnou knižnicou J. Bocatia v Košicích a vystoupením zpěváka Jarka Nohavici. Tato výstava byla prezentována znovu v prostorách hudebního oddělení KMO ústředí koncem února a při této příležitosti se na slavnostním rautu setkali bývalí i současní pracovníci KMO.

Statutární město Ostrava se v roce 2003 rozhodlo provést celkovou rekonstrukci této architektonicky zajímavé budovy s vnitřní pasáží a tak ústřední knihovna prožila období od září 2003 do září 2005 v provizorních podmínkách na Výstavišti Černá Louka. Přes některá omezení zde byla zachována činnost všech oddělení a nezaznamenali jsme úbytek čtenářů.

V září 2005 jsme přestěhovali ústřední knihovnu zpět k Sýkorovu mostu a od 3. října 2005 jsme znovu nabídli své služby ostravské veřejnosti.

Od doby svého založení se Knihovna města Ostravy snaží se střídavými úspěchy plnit své základní poslání - organizovat společenské využití tištěných materiálů i ostatních hmotných zdrojů, poznatků a informací tím, že je získává, zpracovává, půjčuje a propaguje. Mezi významné čtenáře knihovny patřili mimo jiné Jaroslav Vavřík, Karel Biňovec nebo Milan Rusínský.

Za těch několik desítek let zůstalo poslání Knihovny města Ostravy neměnné, i když byla několikrát přejmenována, i když v ní pracovalo mnoho knihovníků s odlišnými názory na řízení její činnosti, i když měla problémy s udržením své existence.

Těšíme se na Vás!