A kung fu története mintegy 1500 évre nyúlik vissza, amikor egy indiai buddhista szerzetes, Bódhidharma Kínába érkezett terjeszteni a buddhista tanokat. Utazása során a Saosi-hegyre, a nem sokkal korábban alapított Saolin kolostorba, a Szongsan templomba. Az itteni szerzetesek viszont nem engedték be azonnal, így ő a kolostor falai előtt lévő barlangban telepedett meg. Kilenc évig ült a barlangfalat nézve, és meditált. A legenda szerint a tekintete lyukakat vájt a falba, és állítólag a mai napig látható a falon az árnyéka. A szerzeteseket annyira lenyűgözte az elkötelezettsége, hogy végül beengedték a kolostorerődbe.
A legenda szerint Bódhidharmának a meditáció alatt egyszer lecsukódott a szeme. Annak érdekében, hogy ez ne fordulhasson többet elő, levágta a szemhéjait és eldobta. A legenda szerint abból nőttek ki az első teacserjék. Innentől kezdve használták a teát az álmosság elkerülésére.
A kolostorban azt tapasztalta, hogy a mozgásszegény életmód miatt a szerzetesek a legalapvetőbb meditációs gyakorlatokat sem képesek elvégezni, gyakran elalszanak közben. Ezért olyan gyakorlatsort dolgozott ki számukra, amellyel megőrizhették egészségüket és javíthatták erőnlétüket. A kolostor környékén gyakori állattámadások, és az útonállókkal való harc következtében ez a gyakorlatsor, a későbbiekben harci rendszerré fejlődött, melynek elemeit a kínai és indiai ikonográfia főállatainak mozgásáról mintázták (tigris – csontok, sárkány – szellem, kígyó – chi, leopárd – erő, daru – inak, ízületek).
Bódhidharmáról úgy tartják, hogy lótuszülésben, teljesen tiszta tudatállapotban halt meg. Eltemették a hegyen, majd egy legenda szerint három évvel ezután egy ember találkozott vele. Ekkor Bódhidharma azt mondta, hogy visszamegy Indiába. Csak az egyik lábán viselt szandált. Mikor ezután felnyitották a sírját semmi sem volt benne, csak egy darab szandál, a másik fele annak, ami a lábán volt.
Miután a Mester eltávozott, az általa kifejlesztett gyakorlatsort ugyanúgy alkalmazták naponta többször a Shaolin templomban élők, de békés szerzetesek lévén ezt sosem támadásra használták. Megmaradt az erőnlét fejlesztésére, a meditáció tökéletesítésére és az önvédelem hasznosítására. A kínai kungfu nevet kapta, melynek jelentése: idővel megszerzett tudás, valamiben való jártasság, kemény munka. A nyugati világban a kínai harcművészetek összefoglaló nevét értik alatta.
A kolostorban gyakorló szerzeteseknek hamarosan híre ment és olykor még az éppen aktuális császárok is segítségüket kérték az ország védelmében. Ezek általában sikerrel zajlottak, így a szerzetesek már jelentős katonai erőt is jelentettek az önvédelmi technikájuk által.
A kolostor az 1600-as évekig virágzott, mígnem, mivel a Mandzsu-dinasztia (1367-1644) elleni lázadás egyik bázisa volt, az uralkodóház seregei lerombolták és felégették. Ekkor rengeteg szerzetes is életét vesztette. Akik túlélték elmenekültek, sokan Kína határain túlra. Ők tovább oktatták a kung fu-t, azonban a nagy távolságok miatt az oktatók egyéni erősségének és a környezeti hatásoknak megfelelően az eredeti, közös rendszer sokféle irányba fejlődött tovább.