" Igen, megcsinálom!"- mondta Heinrich Hilgert, a csapat elsõ elnöke. 1904. május 4-én egy csapat 14 és 15 éves fiú megalapította a Westfalia Schalke nevû futballklubot. Hogy felvételt nyerjen a hivatalos bajnokságba, 8 évvel késõbb, 1912-ben a csapat egybeolvadt az 1877 Schalke nevû tornaegyesülettel. 1924-ben a focisták újra elváltak a tornászoktól, és felvették az FC Schalke 04 nevet. Az egyesület színe sárga-pirosról kék-fehérre változott.
Ekkor kezdõdött Németország egyik legismertebb klubjának a felemelkedése. A "Schalke adogatása" - elegáns, összetett futball skót lapos adogató játékra alapozva - a tizenegy játékos védjegyévé vált, és a karizmatikus sztárfocista, Ernst Kuzorra körül összpontosult. Sógorával, Fritz Szepannal együtt, aki évek óta a csapat kapitánya volt, minden szempontból Kuzorra határozta meg az egyesület sorsát, ami akárcsak játékosai, szoros kapcsolatban ált a bányaiparral. Ez adta a gárdának a "kék-fehér focista bányászok" becenevet. (1927-ben a bányászok sikeresen fejezték be próbaidejüket a német bajnokságban.)
A királykékek uralták a játékot elõször a Ruhr-vidéken, majd nyugaton, végül egész Németországban. 1933 és 1942 között kilencszer jutottak be a német bajnokság fináléjába. 1933-ban még 3:0-ra vereséget szenvedtek a Fortuna Düsseldorftól, de egy évvel késõbb, 1934-ben 2:1-re gyõzték le a döntõben az 1. FC Nürnberget, aki már 5 bajnokságot megnyert. 1935-ben megvédte címét, amikor a döntõben 6:4-re legyõzte a VfB Stuttgart csapatát, 1937-ben újra gyõzelmeskedett a Nürnberg felett, ezúttal 2:0-ra verte meg. 1939-ben a bányászok elérték a legnagyobb diadalt, amit végjátékban nemzeti német versenyen valaha kivívtak: az Almira Wient 9:0-ra rohanták le. De 1940-ben csak a legcsekélyebb különbséggel tudták megõrizni címüket; csupán 1:0-s eredménnyel diadalmaskodhattak az SC Dresden játékosain. És amikor a királykékek 1942-ban 2:0-ra legyõzték a Vienna Wient, ezzel megszerezve hatodik bajnoki címüket, a "Schalke-legenda" már megszületett. Egy legenda, amely a késõbbi generációkat is lenyûgözi, és ami egy óriási szurkolótábor alapjait tette le.
A második világháború után nehéz volt a bányászoknak a magas szintet tartani. A nyugati elsõ osztályban nem sokkal a felkészülési idõ után az élcsapatok mögött telepedtek le, csupán egy bajnokságot nyertek meg: 1958-ban az Edi Frühwirth vezette csapat Bernhard Klodt csapatkapitánnyal az élen 3:0-ra legyõzte az SV Hamburgot.
Természetesen a Schalke 04 is hozzátartozik azon 16 egyesülethez, akik 1963-ban az elsõ Bundesliga-szezonban indultak, de az elsõ tíz évben a bányászok többnyire a kiesés ellen küzdöttek; ezután az 1964/65-ös idényben valóban kiestek. Aztán a Német Labdarúgó Szövetség (DFB) a liga tagjainak számát 18-ra emelte fel, így a Schalkét megmentették.
A '60-as évek végén egy új, sokat ígérõ fiatal csapat ált fel a legendás jobbszélsõ, Reinhard Libuda vezetésével, akit labdavezetõ-technikája miatt mindenki csak "Stannek" hívott (Stanley Matthews után). 1972-ben az Ivica Horvat által vezetett gárda második helyezett lett, és 5:0-s játékkal az 1. FC Kaiserslautern ellen (1937 után) másodszor hozta el a DFB-kupát. De a részvétel a Bundesliga-botrányban (amiben az 1970/71-es szezon során több játékos is részt vett), és az elkövetkezõ nehézségek láttán sok játékos hagyta a csapatot megtörni, amikor 1977-ben még egyszer a második helyet szerezték meg. A lecsúszás elkezdõdött.
Ez a hanyatlás különösen az 1980-as években mutatkozott meg, a legendás 6:6-os eredmény ellenére is, amit hosszabbítás után a Bayern München ellen értek el a DFB-kupáért folytatott elõdöntõben. Három alkalommal (1981-ben, 1982-ben, 1988-ban) csúsztak le a másodosztályban. Kétszer sikerült újra feljutniuk, de harmadszor 3 évig kellett kitartaniuk az alsóházban. Az elmaradt sikerek ellenére a Schalke 04 Németország egyik legnépszerûbb egyesülete maradt; a Parkstadionba, ahová 1973-ban költözött a klub, több nézõ látogatott el, mint sok Bundesliga-beli csapathoz.
Ezt a hûséget megjutalmazták, amikor a Schalke 1991-ben végérvényesen visszatért a felsõházba. Csak az 1993/94-es idényben kellett a kiesés ellen küzdenie, de a sikeres keret olyan csapatot alapozott meg, aki 1996-ban 19 év után elõször újra indulhatott az UEFA-kupáért. És egyre nagyobb sikereket értek el: a Roda Kerkrade, a Trabzonspor, az FC Brügge, a CF Valencia, a CD Teneriffa feletti gyõzelmek, és a szenzációs játékkal kivívott Inter Milan elleni gyõzelem után a Schalke 04 elnyerte az UEFA-kupát. Egy drámai tizenegyesrúgó-párbajban 1997. május 21-én a Milan San-Siro stadionjában Marc Wilmots bevágta a Huub Stevens vezette csapat mindent eldöntõ büntetõlövését. Wilmots kiemelkedõen harcias teljesítményével "Európa csatáraként" bevonult az egyesület történelmébe.
De az csapat a zöld gyepen kívül is teremtett egy "kis" csodát. 1998-ban elkezdõdött egy új, multifunkcionális pálya építése, ami a Parkstadiont leváltotta. 32 hónap múlva elkészült a 60000 férõhelyes Arena AufSchalke felszedhetõ gyeppel, zárható tetõvel, eltolható emelvénnyel, kijelzõ táblával, így megfelel Európa legmodernebb stadionjainak. A 191 millió Eurónyi költséget teljesen magánpénzbõl finanszírozták.
Pontosan a német labdarúgás legújabb játékterének felavatásakor álltak a királykékek a megújulás határán. 2001-ben a Bundesliga történetének legdrámaibb fináléjában szó szerint a szezon utolsó lövése - egy vitatott szabadrúgással a 94. percben az FC Bayern München kiegyenlített a z SV Hamburg ellen - akadályozta meg a nyolcadik német bajnoki címet. Így a bányászok, mint másodikak, elõször jutottak be a Bajnokok Ligájába, majd megnyerték - az 1. FC Union Berlin elleni 2:0-s gyõzelemmel - a DFB-kupát. Ezt a címet a királykékek sikeresen védték meg egy évvel késõbb is, amikor a Bayer Leverkusent 4:2-re legyõzték.
2002 júniusában távozott a sikeredzõ, Stevens, és helyére Frank Neubarthot nevezték ki. Ám a csapat vele várakozáson alul szerepelt, ezért év közben a klub egykori játékosa, Marc Wilmots váltotta a kispadon. Már vele sem lehetett megmenteni a szezont, és a csapat a hetedik helyen végzett a bajnokságban. De az UEFA-kupában jól szerepelt; az elsõ körben az FC Gomelt verték, majd a Legia Warsawát gyõzték le. A harmadik körben egy újabb lengyel csapat, a Visla Krakkow viszont kiejtette õket. Az év végén a vezetõség úgy döntött, hogy rutinos trénert szerzõdtet; a választás végül Jupp Heynckesre esett, akit Bilbaóból csábítottak el. Vele is hasonlóan szerepelt a gárda, a bajnokságban ismét hetedikek lettek, és az UEFA-kupában a második fordulóban a dán Brondby-val szemben maradtak alul.
A 2004/05-ös idényre Rudi Assauer menedzser az elsõ három hely megszerzését tûzte ki célul. Ennek érdekében soha nem látott mértékû erõsítést vitt véghez: megszerezték a gólkirály Ailtont a Werder Brementõl, akivel jött csapattársa, Krstajic is. Érkezett Kaiserslauternbõl a játékmester, Lincoln, valamint a Stuttgart egykori brazil válogatott védõje, Bordon. Ha ehhez hozzávesszük a szezon közben igazolt Azaouaghot, akkor megállapítható, hogy erõs csapat jött össze. Ezt bizonyította, hogy megnyerték az UEFA Intertotó-kupa fináléját a Liberec-csel szemben. Ezzel kiharcolták az UEFA-kupa indulást. Ám a bajnokság rosszul kezdõdött, Heynckes nem értett hangot az újakkal, és mennie kellett. Helyére Ralf Ragnick érkezett, akinél Ailton és Lincoln formába lendült. Az UEFA csoport körébõl simán továbbmentek, többek közt a Ferencváros legyõzésével. A végállomást a Sakhtar Doneck jelentette. A bajnokság során a Bayernt kétszer is megverték, ám a véghajrában elvéreztek. A Mainz és a Hertha is nagy pofont adott nekik, így a Bayern lett a bajnok. A DFB-kupában még áll, a döntõben a Bayern München lesz az ellenfele.