Индис-группа Billy возникла в конце 2004 года в следующем составе: Yu-ki (Ю-ки - ex-BaXtsu) – вокал, Takuma (Такума - ex-BaXtsu) – гитара, Hiroshi (Хироши - ex-BaXtsu) – гитара, Tsubuku (Тсубуку – ex-L'uminous Lily) – бас, и Mi-ne (Ми-не – ex-Akira) – ударные. Музыка, которую они играют, представляет собой причудливое сочетание рока, металла, панка и блюза. Яркий имидж, интересные тексты, зажигательные ритмы – все это создает музыкальный феномен под названием Billy.
В январе 2005 года вышли в свет первые демо-записи этой группы: «Shichou R -DASHINUKI edition» и «Shichou R -usual edition-». После этого вокалист Ю-ки взял себе новое имя - Baku (Баку). В апреле ребята приняли участие в составлении сборника «Ura Kaizokuban», 11 мая вышел их дебютный мини-альбом «Babies, Good-bye», а в августе в продажу поступило DVD под названием «Nikunda Egao». В ноябре того же года Billy дала концерт в Area Takadanobaba, песни команды вошли в сборник «Shock Edge 2005», а 26 ноября появился сингл «Will Smile». Популярность молодой группы росла, и в январе 2006 года ребята переиздали свой первый мини-альбом, получивший название «[Babies, Goodbye] Saikai [RE-MIX]». В мае Billy выпустила сингл «William», после чего отправилась в тур по стране, а в ноябре вниманию публики был предложен сингл «Tuesday ~ Kaibutsu wa koufuku ni michita».
В феврале следующего года в продажу поступил мини-альбом «Bio-Zoukei suru bio», за которым последовало еще одно турне, DVD с записью концерта «Tuesday ~ Kaibutsu wa koufuku ni michita» и сингл «Butterfly United».