El disco se grabó en apenas seis días de sesiones en el Columbia Studio A de Nueva York durante el verano de 1965. Entre las primeras sesiones de junio y las finales de agosto, Dylan cambió de productor: de Tom Wilson a Bob Johnston.
La historia más famosa del disco sucedió cuando el organista de la sesión se movió al piano, dejando el órgano libre. Al Kooper, que había venido como invitado de Wilson, se sentó al instrumento sin permiso. Más tarde confesó que tuvo suerte de que estuviera encendido porque no sabía dónde estaba el interruptor. Kooper describió la experiencia como «tantear los cambios de acordes como un niño buscando el interruptor de la luz en la oscuridad». Tocaba deliberadamente por detrás del tiempo para poder escuchar primero los acordes.
Dylan había pedido específicamente a Mike Bloomfield después de escucharle con la Paul Butterfield Blues Band. Le dijo: «No quiero que toques nada de esas cosas de B.B. King, solo blues crudo». La Telecaster ardiente de Bloomfield se convirtió en la columna vertebral del álbum. Para «Desolation Row», el productor Bob Johnston invitó a Charlie McCoy, que estaba de visita desde Nashville. McCoy cogió una guitarra en el estudio y añadió los toques españoles que dan al tema final su belleza inquietante.