Por segunda vez en su historia, al margen de la experiencia parisina de 1964, los Beatles graban fuera de los estudios Abbey Road. El hecho tiene lugar en los estudios Olympic Sound de Londres para la grabación de «Baby You’re a Rich Man» y también incluye la sesión de mezclas.
Asimismo, es la primera vez que una canción se graba, mezcla y completa enteramente fuera de Abbey Road. «Baby You’re a Rich Man» tiene como destino inicial la banda sonora de la película de dibujos animados «Yellow Submarine» prevista para 1968, aunque luego será cara B del single «All You Need is Love». El tema está dedicado a Brian Epstein e inicialmente pudo llamarse «One of the Beautiful People».