Тейке родился в семье кузнеца в городе Штеттин-Альтдам, в провинции Померания, он был четвёртым ребёнком из 14 детей в этой семье. Начал учиться музыке в возрасте 14 лет, играл на различных инструментах. В возрасте 19 лет он поступил на военную службу в качестве музыканта оркестра 123-го (5-го вюртембергского (нем. Württemberg)) гренадерского Короля Карла полка. Полк стоял в городе Ульм (нем. Ulm), где Тейке также играл в оркестрах местных театров на валторне и ударных инструментах.

В Ульме Тейке начал сочинять музыку. В 1889 (по другим данным, в 1886) он написал свой знаменитый марш, впоследствии названный «Alte Kameraden» («Старые товарищи»). При первом исполнении марша начальник Тейке заявил: "У нас уже достаточно маршей, бросьте это в топку!" Это настолько разочаровало Тейке, что он уволился из армии. Права на свой марш Тейке продал издателю за 20 золотых марок.

После Тейке служил в полиции города Ульм. Здесь он женился на дочери своего домовладельца. В 1895 он переехал с семьёй в Потсдам (земля Бранденбург), где также служил в полиции вплоть до отставки по состоянию здоровья в 1908 году. В период службы в полиции Тейке продолжал сочинять музыку, видимо, больше для собственного удовольствия. После выздоровления Тейке служил на почте.

Умер Тейке в 1922 году в городе Ландсберг (нем. Landsberg an der Warthe), ныне это город Гожув-Велькопольский (pl:Gorzów Wielkopolski) в Польше. В этом городе ему был поставлен памятник.

Его марш «Alte Kameraden» считается наиболее популярным маршем в Германии и широко известен во всём мире. Другие известные произведения Карла Тейке: «Graf Zeppelin», «Prinz Albrecht», «Treu um Treue».