C’est une passion pour des groupes de rock anglophones qui pousse les deux Julien à chanter en anglais et à créer un groupe de rock. Neil Young leur inspire leur nom et en 2007 ils publient un premier disque homonyme qui fait sensation. Leur deuxième album est sorti en avril 2010 et à cette occasion le groupe Hey Hey My My viendra présenter ses nouveaux titres le 16 octobre au Plan (Ris Orangis), accompagné de 1973 (Bye Bye Cellphone en vidéo).