Ha interpretato il ruolo di Marty, il membro dell'equipaggio del pirata Jack Sparrow, in Pirati dei Caraibi: La Maledizione della Prima Luna, Pirati dei Caraibi: La Maledizione del Forziere Fantasma e Pirati dei Caraibi: Ai Confini del Mondo. In televisione, Klebba è meglio noto per il ruolo di Randall Winston in diversi episodi di "Scrubs". Tra i suoi film più recenti ricordiamo Feast 2 e 3, All's Faire in Love, Bloodshot e Apollo Thorne.
E' apparso in numerosi altri film per il cinema e la televisione, sia come attore che come stuntman. In ambito cinematografico lo abbiamo visto in Men in Black II, Amici per la Morte, Eliminate Smoochy e Corky Romano-Agente di Seconda Mano ed ha lavorato come stunt man nei film Epic Movie, Una Settimana da Dio, Il Pianeta delle Scimmie, Leprechaun: Back 2 Tha Hood, Van Helsing, I Tuoi, I Miei, I Nostri, SuperBabies: Baby Geniuses 2 e Benvenuti a Zombieland.
Sul piccolo schermo, Klebba è apparso, di recente, in "The Cape", della NBC e in "Pair of Kings" di DisneyXD. Nell'ambito dei telefilm ha lavorato in "Biancaneve" e "The Santa Trap" e nelle serie "Little People, Big World", "Mad TV", "Drake and Josh", "ER", "Charmed", "Malcolm in the Middle" e "Just Shoot Me!".
Klebba ha intepretato il ruolo di protagonista, il detective Hank Dingo, in "Knee High P.I" di Comedy Central. E' anche un ospite frequente nel popolare programma radiofonico di Howard Stern.
Klebba detiene il titolo di "Nano più veloce del mondo" e gareggia a livello mondiale nella sua categoria. E' membro dei L.A. Breakers, tre volte vincitori della Medaglia D'oro ai giochi mondiali.
Inoltre, ha fondato un'organizzazione benefica, la CoDA (Coalition for Dwarf Advocacy), assieme al suo amico Matt Roloff; lo scopo di questa organizzazione è quello di trovare i fondi per facilitare l'adozione dei bambini affetti da nanismo.
Klebba è originario di Troy, nel Michigan. Il suo ruolo preferito è quello di padre di suo figlio Alec, e marito di sua moglie, Michelle.