Свою первую кинороль Йоханссон получила в фильме «Норт», где сыграла вместе с юным Элайджей Вудом. Роб Райнер, режиссёр фильма, в одном из интервью сказал, что «маленькая Скарлетт талантлива не детским талантом» и что она напоминает ему «даму средних лет, чуть сварливую, очень придирчивую, требовательную и разуверившуюся в жизни».
Несколько следующих её ролей остались незамеченными. Однако в 1996 году Скарлетт сыграла свою первую главную роль в фильме «Мэнни и Ло», за которую получила номинацию на премию Independent Spirit Awards как лучшая исполнительница женской роли. Роль Грейс Маклин в фильме Роберта Редфорда «Заклинатель», сыгранная Скарлетт в 1998 году, принесла актрисе первую известность в США.
После этого Йоханссон снималась в небольших ролях в фильмах разного качества (в том числе в прекрасно встреченных критикой «Мире призраков» и «Человеке, которого не было»), пока не была приглашена режиссёром Софией Копполой в фильм «Трудности перевода». Роль Шарлотты в фильме, вышедшем в 2003 году, принесла Йоханссон признание по обе стороны Атлантики, а также ряд премий (в том числе премию BAFTA как лучшей актрисе) и номинаций на престижные кинонаграды (номинация на «Золотой глобус» как лучшей исполнительнице роли в комедии или мюзикле). В том же году у Йоханссон выходит фильм «Девушка с жемчужной серёжкой»: Скарлетт играет там роль Грит, служанки голландского живописца Яна Вермеера, за которую в тот же год получает номинацию на «Золотой глобус», но уже как лучшая актриса в драме.
В 2004 году Йоханссон была приглашена в Американскую киноакадемию, члены которой ежегодным голосованием присуждают премию «Оскар». В том же году за роль в малобюджетном фильме «Любовная песня для Бобби Лонга» (в российском прокате «Любовная лихорадка») актриса получила свою третью номинацию на премию «Золотой глобус».

Скарлетт Йоханссон в феврале 2007 года.
В 2005 году Скарлетт снялась в двух радикально отличающихся фильмах: крупнобюджетном фантастическом боевике на тему клонирования «Остров» режиссёра Майкла Бэя и камерной истории «Матч-пойнт» знаменитого Вуди Аллена. Хотя «Остров» собрал около 180 млн долларов в мировом прокате, сборы в США были гораздо скромнее ожидавшихся, причём продюсеры картины не в последнюю очередь винили в этом Йоханссон: по их словам, «актриса оказалась не в состоянии привлечь своим именем широкую аудиторию». Кроме того, Йоханссон поссорилась с режиссёром фильма во время съёмок постельной сцены с Юэном Макгрегором: актриса настаивала на обнажённой груди своей героини, однако создатели картины, побоявшись ужесточения рейтинга, вынудили её надеть бюстгальтер. Второй фильм оказался гораздо более удачным для её карьеры. Картина Вуди Аллена «Матч-пойнт» была отобрана во внеконкурсную программу Каннского кинофестиваля 2005 года, получила множество положительных критических отзывов в прессе, собрала кассу почти в 80 млн долларов при типичном для Вуди Аллена бюджете в 15 млн, а также принесла Скарлетт четвёртую номинацию на премию «Золотой глобус».

Скарлетт Йоханссон в июле 2007 года.
В 2006—2007 годах вышло несколько фильмов, в которых играла Скарлетт Йоханссон. Прежде всего, это второй с её участием лондонский проект Вуди Аллена под названием «Сенсация» (в американском прокате Scoop), где Скарлетт играет комедийную роль американской студентки, завязывающей роман с английским аристократом (его играет австралийский актёр Хью Джекман). Осенью 2006 года вышел в прокат триллер-нуар Брайана Де Пальмы «Чёрная орхидея» — криминальная история, разворачивающаяся вокруг реального убийства молодой актрисы Элизабет Шорт в Голливуде в 1940-е годы. Кроме Скарлетт в фильме также участвуют Хилари Суонк, Джош Хартнетт и Аарон Экхарт. Можно также отметить две экранизации, вышедшие в этот же период: первая — «Дневники няни», где актриса играет героиню одноимённой книги Николы Краус и Эммы Маклафлин — девушки, подрабатывающей няней в богатом нью-йоркском семействе; вторая — экранизация книги Кристофера Приста «Престиж» режиссёра Кристофера Нолана. Кроме того, Скарлетт появляется в главной роли в новом проекте Барри Левинсона — авантюрном триллере о грабительнице «Бриллиант».
Один из самых последних проектов, в связи с которым упоминают имя актрисы — историческая драма «Ещё одна из рода Болейн», где Скарлетт сыграла с Натали Портман и Эриком Бана Марию Болейн, сестру знаменитой Анны Болейн, соперничающую с ней за сердце и постель короля Генриха VIII из династии Тюдоров.
20 мая 2008 г. Йоханссон дебютировала как вокалистка в своем первом альбоме Anywhere I Lay My Head, включившим в себя кавер версии на песни Тома Уэйтса. В 2009 году вместе с Питом Йорном записала альбом Break Up.
Сыграв русского спецагента Наташу Романову в фильме «Железный человек 2» в 2010 году, Йоханссон согласилась принять учасие в продолжении «Железного человека» — фильме «Мстители», выход которого намечен на 2012 год. Помимо этого, в сентябре 2010 года, во время пресс-конференции «Железного человека 2» на релизе Blu-Ray и DVD, президент Marvel Studios Кевин Фейдж подтвердил, что дискуссии о возможном сольном фильме «Чёрная вдова» со Скарлетт Йоханссон в главной роли имели место. Фейдж также сказал, что они начали переговоры с актрисой о фильме.
Мать актрисы, Мелани Йоханссон, является по совместительству её менеджером и, по словам Скарлетт, оказывает ей «неоценимую поддержку при всей творческой „чудаковатости“ актрисы в выборе тех или иных ролей».
Актриса Скарлетт Йоханссон удостоилась звезды на голливудской «Аллее славы». Торжественное открытие звезды с именем артистки состоялось в Калифорнии в среду, 2 мая 2012 года.