Ο Γιώργος Ανεμογιάννης γεννιέται στις 16 Δεκεμβρίου του 1916 στο Ηράκλειο της Κρήτης, ανήμερα του Αγίου Ελευθερίου, προς τιμήν του οποίου λαμβάνει και το δεύτερο όνομα Λευτέρης. Είναι γόνος μεγαλοαστικής οικογένειας, γιος του έμπορου και κτηματία από τη Μυρτιά Αντώνη Ανεμογιάννη, φίλου και μακρινού συγγενή του Νίκου Καζαντζάκη.
Στην πρώτη του κατοικία, ένα υπέροχο νεοκλασικό διώροφο κτίριο της σημερινής οδού 25ης Αυγούστου στο κέντρο του Ηρακλείου, περνάει ανέμελα τα παιδικά και εφηβικά του χρόνια. Το σπίτι αυτό που θα επηρεάσει καθοριστικά την αισθητική του –όπως άλλωστε θα παραδεχτεί και ο ίδιος αργότερα−, αποτελεί ένα καλαίσθητο περιβάλλον απ' όπου δέχεται τα πρώτα του καλλιτεχνικά ερεθίσματα. Εδώ, μάλιστα, λαμβάνει τα πρώτα μαθήματα σχεδίου από τη μητέρα του, καθώς και τη βασική μόρφωση. Όπως συνηθίζεται την εποχή αυτή στα μεγαλοαστικά σπίτια, διδάσκεται κατ' οίκον τις πρώτες τέσσερις τάξεις του δημοτικού, το οποίο στη συνέχεια ολοκληρώνει στο ιδιωτικό Παλλάδιον Λύκειον Σηφάκη.
Αργότερα, όταν έρχεται η ώρα να φοιτήσει στο γυμνάσιο, θα προτιμήσει να γραφτεί στο Πρακτικό Λύκειον, λόγω των μαθημάτων σχεδίου που προσφέρει. Η απόφασή του αυτή θα συμβάλει σημαντικά στον επαγγελματικό του προσανατολισμό, ιδιαίτερα όταν κάποια στιγμή ο δάσκαλος της ιχνογραφίας −άγνωστο στον Ανεμογιάννη γιατί− θα του ζητήσει να σχεδιάσει σε τρισδιάστατη μακέτα το σκηνικό πλαίσιο για το έργο «Σαλώμη» του Oscar Wilde. «Η Μοίρα είχε χτυπήσει την πόρτα μου. Ο σπόρος είχε πέσει!» θα σχολιάσει ο ίδιος ύστερα από χρόνια. Το πρωτόλειο εκείνο σκηνογραφικό του έργο θα γνωρίσει, ωστόσο, ιδιαίτερες τιμές καθώς, λίγες εβδομάδες μετά την παρουσίασή του στη σχολική έκθεση, θα δημοσιευθεί στο φιλολογικό περιοδικό «Εστία».