Nato a Desio l'1 febbraio 1991, Caldirola ha inizato a giocare a calcio a quattro anni, nel Base 96, club dove è rimasto sino all'età di otto anni, quando si è trasferito all'Inter dove viene inserito nel gruppo dei Pulcini. Con il settore giovanile ha giocato in tutte le categorie vincendo due scudetti (Giovanissimi Nazionalei nel 2006 e Allievi Nazionali nel 2008) ed un Torneo di Viareggio con la Primavera, sempre nel 2008. Durante l'estate 2008 è aggregato alla prima squadra per le amichevoli di Monaco di Baviera contro il Bayern Monaco (Trofeo Pirelli) e per l'LG Tournament di Amsterdam. Inserito nella lista B della Uefa Champions League vinta dai nerazzurri, il 14 agosto 2009 ha esordito, seppur non ufficialmente, in prima squadra, disputando alcuni minuti nel derby del Trofeo Tim a Pescara. Nell'ultima stagione è stato spesso aggregato alla squadra di José Mourinho per allenamenti e gare amichevoli, continuando a giocare da titolare e con la fascia da capitano nella Primavera di Fulvio Pea (due gol all'attivo) e risultando sempre fra i convocati dell'Under 19 italiana, con la quale disputerà anche le finali del campionato di categoria in Francia. Con la maglia azzurra ha giocato anche in Under 16, Under 17 e Under 18.