Как вспоминал сам Ганс, первый его бой состоялся в 17 лет, когда он работал у Калеба Бонда (Caleb Bond), торгуя рыбой. Соперником был Дейв Армстронг (Dave Armstrong), бой состоялся на улице Бонда (Bond street), и оба бойца получили за бой по $1.40. Следующий бой состоялся на Лексингтонском рынке (Lexington market), против Д. Коэйтса (D. Coates), остановив которого Ганс получил $8. После этого в Крибском клубе (Crib Club) он встретился с Дэвидом Хорном (David Horn), бой был остановлен полицией, но Ганс получил $15. В интервью в ноябре 1898 г., после победы над МакПартлендом, Ганс утверждал, что с тем пор он провёл свыше 150 боёв (в существующих версиях его послужного списка к этому моменту перечислено лишь порядка 60 боёв, об остальных информация, по-видимому, не сохранилась).
Ганс никогда не имел тренера, а постигал искусство бокса наблюдая за боями других боксёров, таких как ‘Nonpareil’ Джек Демпси и Джек МакОлифф.
Деньги, которые он получал за бои, он отдавал своей матери, но скрывал, что он зарабатывает их боксом. Однажды его дядя пришёл к нему и стал настаивать, чтобы Джо рассказал, откуда он берёт деньги. Ганс не стал ему ничего объяснять, а просто попросил пойти тем вечером с ним. Они пришли к Монументальному театру (Monumental Theatre), и Ганс попросил у клерка два билета в первый ряд, не платя за них, что очень удивило его дядю. Когда они шли между рядом, его удивление возросло, когда один из присутствующих громко крикнул «А вот и Ганс». Они стали смотреть боксёрские поединки, и в какой-то момент Ганс сказал ему, чтобы дядя оставался на своём месте, пока он не вернётся. Ганс ушёл, быстро переоделся и вышел на ринг, достаточно быстро расправившись со своим соперником, что было нелегко, так как половину времени Ганс потешался, глядя на выпученные от изумления глаза своего дяди. После этого вопросов дома о том, как он зарабатывает деньги, ему больше не задавали.
В конце июня 1894 г. в Балтимор заехал на пару дней передвижной спортивный клуб Pastime Athletic Club из Вашингтона. Он организовал в Монументальном Театре турнир за звание цветного (в смысле расового разделения) чемпионства штата Мэриленд, с вручение медалей, учреждённых владельцем газеты Police Gazette Ричардом К. Фоксом. Ганс, на тот момент считавшийся чемпионом своего города в лёгком весе, принял в нём участие. 26 июня Ганс победил Бака Уилки (Buck Wilkie), но на следующий день проиграл в финале Полу Джонсону (Paul Johnson) по кличке «Кенгуру», в пяти лучших, по мнению прессы, раундах турнира.
17 декабря 1894 г. Ганс победил по очкам Трэвиса Брауна (Travis Brown) в 6-раундовом поединке. Вес Ганса 124.5 паунда, Брауна 134 паунда. Противник сумел продержаться до конца, несмотря на то, что бой представлял собой одностороннее избиение. Бой прошёл в клубе Эйвон (Avon Club).
21 декабря в Монументальном театре Гансу опять же не удалось остановить своего противника – Фреда Свейгарта (Fred Sweigart) в 10-раундовом бою, в результате чего, в соответствии с договорённостью перед боем, деньги, собранные со зрителей, получил Свейгарт. Оба бойца весили порядка 125 паундов. Свейгарт агрессивно начал бой, выиграв первый раунд, но остальные раунды были за Гансом, но он был чрезмерно осторожен и упустил несколько моментов, чтобы закончить бой досрочно.
27 декабря Ганс отстоял звание цветного чемпиона Южных штатов в лёгком весе, победив в Монументальном театре Джона Коатса (John Coats).
18 марта 1895 г. в Монументальном театре Ганс встретился в 10-раундовом бою с чемпионом округа Колумбия в весе 123 паунда Ховардом Уилсоном (Howard Wilson). Уилсон на дюйм ниже Ганса, и хорош в ударах с обеих рук, в то время как Ганс предпочитает удары слева. После 10 раундов рефери посчитал бой ничейным, и хотел назначить дополнительный раунд, чтобы определить победителя (достаточно часто встречающаяся практика в те времена), но присутствующий на поединке страж порядка запретил это делать. Через пару дней менеджеру Ганса пришло от Уилсона предложение встретиться ещё раз, с обещанием остановить Ганса на позднее 6-го раунда, либо вся выручка со зрителей уходила Гансу.
20 марта в Монументальном театре Ганс победил в четвёртом раунде Харри Ханта (Harry Hunt) из Гарлемской атлетической ассоциации (Harlem Athletic Association), несмотря на значительное преимущество последнего в весе и физической силе. Бой принял односторонний характер, и полиция вмешалась, остановив бой.
22 марта в Монументальном театре Ганс расквитался с победившим его за год до этого Полом Джонсоном по кличке «Кенгуру», перебоксировав его в 6-раундовом бою. Так в первом раунде журналист местной газеты насчитал у Ганса 13 точных ударов против 2 ударов Джонсона. В 4-ом раунде от ударов Ганса у соперника отклеился пластырь, прикрывавший полученное за некоторое время до этого рассечение возле глаза.
К 25 марта в честь завершения перестройки турнирного помещения Монументального театра был устроен небольшой турнир. Ганс должен был встретиться с Джеймсом Хенри Обле (James Henry Oble) по кличке «Парень из Бостона» (Boston Boy), из Норфолка, штат Вайоминг. На его счету была 41 победа и 4 ничьи. Однако соперник Ганса не смог уложиться в оговорённые заранее рамки веса, и менеджер Ганса отменил эту встречу, вместо этого Обле встретился с побеждённым Гансом Джонсоном «Кенгуру» (бой завершился вничью).
1 апреля Ганс встретился с Уолтером Эдгертоном по кличке «Бутон розы из Кентукки» (Kentucky Rosebud). Темнокожий соперник Ганса обещал закончить бой досрочно не позднее 6-го раунда, либо весь гонорар ($150) за бой уходил Гансу. Однако он не только не смог остановить Ганса, но и проиграл бой в целом. Ганс показал отменные защитные навыки, перебоксировав соперника. Первый раунд был ничейным, 2, 3 и 6 были за Гансом, и 4-5 за Эдгертоном за счёт агрессивных наскоков, пускай и не слишком эффективных.
25 апреля состоялся рематч между Гансом и Эдгертоном, в здании, занимаемом клубом «Эврика» (Eureka Club) в Front Street Theatre. В послужном списке последнего была победа нокаутом над великим Джорджем Диксоном, поэтому немногие давали Гансу хорошие шансы продержаться все 8 раундов (несмотря на предыдущую его победу), но вместо этого сам Эдгертон был спасён от нокаута в последнем раунде. Ганс действовал активно, нанося много ударов, в 4-ом раунде его соперник находился в состоянии гроги, а в 8-ом гонг прозвучал в середине раунда, после того как бой превратился в жестокое избиение беззащитного и мало что соображающего Эдгертона. Лишь в 3-ем раунде боя Уолтер был чуть лучше, остальные раунды были за Джо.
4 мая в Монументальном театре Ганс встретился в 8-раундовом бою с Фрэнком Пибоди (Frank Peabody) из Нью-Йоркского клуба Manhattan Athletic Club. Победитель получал $100. К третьему раунду преимущество Ганса стало настолько очевидным, что бой был остановлен, чтобы спасти его соперника от нокаута.
9 мая в Монументальном театре Ганс свёл вничью 6-раундовый бой с Ховардом Уилсоном, темнокожим легковесом из Вашингтона. Ганс был не в лучшей форме, упустив в 3-ем раунде возможность остановить соперника.
20 мая Ганс встретился с чемпионом Филадельфии в 122 паундах Бенни Петерсоном. Было запланировано 20 раундов. Бой прошёл в открывшемся только что Риверсайдском атлетическом клубе (Riverside Athletic Club), зрителей собралось столько, что нескольким сотням из них пришлось смотреть бой стоя, 1200 сидячих мест оказалось явно недостаточно. Петерсон с самого начала избрал агрессивную тактику, наскакивая и прессингуя Ганса, однако Джо был явно лучше, как боксёр, эффективно действуя в контратаке. В первом же размене Джо практически закрыл ударами правый глаз соперника. Первые пять раундов Ганс эффективно действовал джебом, заставляя Петерсона всё время промахиваться. В 6-ом после трёх подряд точных ударов в голову Петерсон с трудом устоял на ногах, а в следующем раунде он прошёл через столь жестокое избиение, что даже попросил своих секундантов остановить бой, однако те уговорили его продолжить. В 9-ом раунде у друзей филадельфийца забрезжила было надежда, однако Ганс уверенно вёл дело к победе, и в 17-ом раунде послал Петерсона в нокаут.
28 мая в Монументальном театре Ганс встретился в 10-раундовом бою с Ховардом Уилсоном, чемпионом Вашингтона в 125 паундах. Первые 7 раундов были близкими, более искусные навыки бокса Ганса нивелировались агрессивной тактикой Уилсона. В 8-ом Ганс внезапно перешёл в атаку, и в размене левым свингом отправил соперника в нокдаун, но тот сразу же вскочил и стал снова теснить Ганса. В 9-ом после пары ударов Ганса слева и, затем, справа, Уилсон стал выглядеть подуставшим. В последнем раунде Ганс поскользнулся и с трудом увернулся от апперкота соперника, своими защитными навыками вызвав аплодисменты публики. Рефери Нортрайд (Northride) отдал победу Гансу.
15 июля Ганс встретился в клубе «Эврика» (Eureka Athletic Club) с Джорджем Сиддонсом (George Siddons), из Нью-Орлеана. После 20 раундов была объявлена ничья, хотя Ганс явно больше заслуживал победы. До боя было оговорено, что в 3 часа дня на взвешивании вес обоих боксёров должен быть 125 паундов плюс-минус два паунда, Сиддонс уложился в этот лимит (126.5), а Ганс нет (129 паундов), поэтому его менеджеру пришлось заплатить неустойку $50. К 9 часам вечера оба весили явно паунда на 3 тяжелее, чем на взвешивании. Перед боем Сиддонс был фаворитом, ставки были $50 против $30.
Сиддонс действовал в агрессивной манере, Ганс работал в контратаке. В 3-ем раунде Сиддонс поскользнулся, пропустив в этот же момент удар, от чего он оказался на полу. В 15-ом раунде на полу оказался уже Ганс, после удара слева в голову, но быстро поднялся, улыбаясь, чтобы показать, что не было ничего серьёзного. После 20 раундов, в большинстве из которых Ганс был, по мнению журналистов, лучше, рефери Ховард Найт (Howard Knight) из Вашингтона объявил, что не может определить победителя, и что ему требуется 5 дополнительных раундов, чтобы принять решение, зрители недовольно загудели, протестуя, поэтому он объявил ничью.
21 октября в клубе «Эврика» Ганс встретился с Джозефом Эллиоттом (Joseph Elliott). Было запланировано 25 раундов, вес обоих боксёров должен был быть 125 паундов плюс-минус два паунда, в 3 часа дня на взвешивании Ганс показал 126.5 паундов, а Эллиотт 124.5 паундов. Эллиотт считался фаворитом, доказав себя одним из лучших бойцов в своём весе.
Оба бойца действовали осторожно, было мало сильных точных ударов, и в 9-ом раунде оба бойца выглядели совершенно свежими, когда в конце второй минуты произошёл странный инцидент. Ганс попытался ударить справа в туловище, Эллиотт опустил левую руку, чтобы заблокировать удар, а сам попытался контратаковать справа, но Ганс увернулся и в свою очередь выбросил левый крюк, который пришёлся в плечо соперника, однако «отрикошетил» и, задев вскользь подбородок, попал в лоб Эллиотта. Тот отступил на шаг и начал поворачиваться в сторону, но вдруг его ноги подкосились, он упал и ему был отсчитан нокаут.
18 ноября Ганс встретился со знаменитым австралийцем Янг Гриффо (Young Griffo), бывшим чемпионом мира в весе пера и одним из лучших боксёров той эпохи. Бой был 10-раундовым и состоялся в клубе «Эврика» (Front Street Theatre). Однако зрители смогли наблюдать лишь совершенно разочаровывающий 10-раундовый спарринг, где ни один из боксёров не наёс ни одного сильного точного удара, хотя Ганс был чуть точнее в своей работе. После окончания поединка Гриффо объявил зрителям, что ещё до боя было поставлено условие, что он не состоится, если он не пообещает, что не будет пытаться нокаутировать Ганса. Публика выразила своё явное неодобрение произошедшим, а многие не выдержали и ушли ещё в середине этого спарринга. Гриффо объявил о своём желании сразиться с Гансом по настоящему.
28 ноября Ганс встретился в 25-раундовом поединке с Джорджем Сиддонсом, в клубе «Эврика». Оба должны были уложиться в 3 часа дня в 125 паундов, но оба весили на пару паундов легче. Бой был достаточно спокойным, Сиддонс был чуть агрессивнее, но Ганс явно лучше и в защите и в атаке. В 7-ом раунде Сиддонс попытался сначала нанести крюк, а чуть позднее удар в туловище, но оба раза промахнулся, в ответ получив джеб в голову. Пока он думал, как ему поступить дальше, Ганс сымитировал удар слева, заставив Сиддонса опустить защиту, после чего сделал шаг вперёд с правым кроссом в голову, точно в челюсть, послав соперника в тяжёлый нокдаун. Если судить по отсчёту секундомера, он поднялся лишь через 14 секунд, но рефери считал медленно, поэтому достиг лишь «девяти», когда Сиддонс встал с пола. Ганс мгновенно набросился на него и двойкой отправил на настил и в нокаут, за 10 секунд до конца раунда.