Le plus simple est, à mes yeux, programmer sur PC. En effet tu trouveras des tonnes de tutos, explication, codes sources à prendre en exemple, compilateurs et environnements de développement complets et gratuits en téléchargement... Le but n'étant pas au départ de faire des choses intéressantes ou impressionnantes, mais juste de te familiariser avec la programmation. Quand tu sauras plus concrètement ce que c'est tu pourras alors choisir la voie que tu veux suivre (plateforme, langage).

L'investissement étant minuscule il est aussi sympa de débuter avec un livre qui te guideras pas à pas. Il y en a des chouettes sur le langage C en version poche par exemple.