Скотт Паттерсон родился 11 сентября 1958 года в Филадельфии, но переехал в Нью-Джерси, где поступил в Rutgers University и получил степень в сравнительной литературе.

С 1980 по 1986 году Паттерсон был питчером в низшей бейсбольной лиге и добрался до Triple-A (AAA) — наивысшего игрового уровня непосредственно перед главной лигой. Он играл в двух резервных командах главной лиги для семи разных клубов низшей лиги.

В 1980 году уже в первом туре в рамках процедуры драфта его выбрала команда «Атланта Брейвс». В 1980 году он сыграл первый профсезон со своей командой «Андерсон Брейвс» класса A низшей лиги, а в 1986 году — последний с «Элбани-Колони Скуиррелс» класса AA, принадлежащей «Нью-Йорк Янкиз», и «Коламбус Клипперс» класса AAA.

«Атланта» обменяли Паттерсона в «Янкис» на Боба Уотсона в 1986 году.

Актерскому мастерству он учился в Нью-Йорке с известными инструкторами Робертом Льюисом (Robert Lewis) и Сандрой Ли (Sondra Lee) и был замечен Полом Ньюманом (Paul Newman), Артуром Пэнном (Arthur Penn) и Френком Корсаро (Frank Corsaro). Театральная труппа Arc Light, которую он основал в 1988 году в Нью-Йорке, ставит работы таких известных писателей как Джон Бишоп (John Bishop), Сэм Шеферд (Sam Shepherd), Гарольд Пинтер (Harold Pinter) и Шекспир (Shakespeare).

В свободное время Скотт Паттерсон любит писать музыку и рисовать. В начале 2008 года прошла выставка его завершенных работ. Также он коллекционирует картины, артефакты и редкие рукописи. Его доисторическая коллекция каменных лягушек лежит в Париже в Лувре.

Сейчас актер живет в Лос-Анжелесе.