S-a născut în 1924 în Plains, Georgia, ca fiul cel mai mare din cei patru ai lui James Earl Carter, fermier și om de afaceri, și Bessie Lillian Gordy, asistentă medicală. După școala elementară de la Plains, urmează Georgia Southwestern College și Georgia Institute of Technology. În 1946, primește diploma în științe din partea United States Naval Academy. Satisface serviciul militar în cadrul trupelor navale, unde dobândește gradul de locotenent.
În 1953, decesul subit al tatălui îl determină să se retragă din armată pentru se ocupa de culturile de arahide din ținutul natal.
