Према предању Мали Шиљеговац је настао тако што су чланови данашње породице Андрејић, живећи на Косову, убили неког од турских главешина, а затим сви чланови породице су се покупили и дошли на терен данашњег села Каоник, тачније уз Каоничку реку и ту се настанили.Међутим, у једном тренутку, водостај реке је нагло порастао и они су се преместили на нову локацију данашњег села Мали Шиљеговца која се звала Мали Шиљак. Иначе Мали Шиљеговац и Велики Шиљеговац немају никакве везе пошто су доста удаљени један од другог. Пре него што ће се пут Крушевац-Рибарска Бања суочити са Чокотиним брдом, са десне стране се одваја пут који добром узбрдицом, после 2,5 km од одвајања улази у центар Малог Шиљеговца. Задњих деценија та раскрсница се стално запоседа новим премештеницима из Малог Шиљеговца и постаје његов заселак који се зове Ново Село. За село води асфалтни пут са великим успоном и великим кривинама.Село се протеже правцем север-југ. Клима је континентална. Засеоци који осим Новог Села припадају Малом Шиљеговцу су: Поток, Жуте Баре, Кривуље, Банковица, Гајак и Господске Њиве. У подножју села, крај цркве, протиче Гагловска река која извире у Жутим Барама. Мали Шиљеговац се налази између села Пасјак са запада, Бован и Станци са југа, Сушица, Црквина и Каоник са истока, а Гаглово са северозапада. Заузима површину од 1365 ha или 13,65 km2. Заједно са Гагловом, Мали Шиљеговац чини једну месну заједницу која се налази у Гаглову.
Деца из Малог Шиљеговца пре отварања другог одељења гагловске школе у Малом Шиљеговцу, су похађала наставу у Гаглову. Године 1930. издваја се одељење у Малом Шиљеговцу. Пошто није постојала ни школска нити иједна друга сеоска зграда, узета је под закуп једна соба Косте Димитријевића. Мештани су патосали ову просторију и то је била прва соба са постављеним патосом у селу. Наставу су похађали ученици различитог узраста из Малог Шиљеговца, Бовна и Пасјака. У првим годинама наставу су слушала само мушка деца. Школска зграда је изграђена на иницијативу грађана. Село је дало самодопринос или како се онда звао „прирез“ у новцу и у радној снази. Сами су направили циглу великог формата (25х8х12) и дали потребну грађу за кров, прозоре и врата. Преко приреза сакупили су добровољне прилоге и за њих изнајмили два мајстора- Бугарина. Градња школе је започета одмах по отварању тј. 1930. године , а завршена је и у њој је почело да се ради 1934. године. Зграда је уређена према важећим прописима о градњи школских зграда. По првобитном плану требало је да се направи и стан за учитеља. Школа је имала две учионице, канцеларију и ходник. Прва учитељица била је Милица Д. Јовановић која је у школи у Малом Шиљеговцу радила од 1930 – 1933. године док се већ1935. године за учитеља и управитеља школе поставља Драгиша Тодоровић.
Данас се настава изводи у новом школском објекту изграђеном у центру села. Нова школска зграда је на најсвечанији начин отворена и предата на коришћење 01. септембра 2009. године. У овој школи раде две учитељице у два комбинована одељења I и III, II и IV разреда.