En enero de 1965, Brian Wilson anunció que dejaba las giras para concentrarse en la composición y la producción en estudio. El resto del grupo siguió de gira sin él. Según recuerda su esposa Marilyn, Brian trabajó en Pet Sounds prácticamente sin parar, y cuando estaba en casa "o estaba al piano, arreglando, o comiendo".
Desde las sesiones de Surfer Girl en 1963, Wilson había integrado el grupo de músicos de estudio de Phil discos. Los participantes habituales incluían a Hal Blaine (batería), Glen Campbell y Billy Strange (guitarra), Carol Kaye (bajo Fender), Larry Knechtel (órgano Hammond) y Julius Wechter (percusión). Pet Sounds marcó el primer proyecto de los Beach Boys en el que utilizó casi exclusivamente a estos músicos para las pistas de acompañamiento.
Durante las sesiones experimentales de finales de 1965, Wilson grabó un instrumental llamado "Trombone Dixie" que él mismo describió como un arreglo rápido hecho mientras "jodía con los músicos". Según Wilson: "Cuando estábamos haciendo Pet Sounds estábamos absolutamente seguros de que estábamos grabando un disco histórico. Carl y yo sabíamos con certeza que estábamos metidos en algo más pesado que el infierno, y simplemente seguimos adelante".