В 1976 г. на смену Ferrari 365 GT4 BB пришла Ferrari 512 BB, представленная на Парижском автосалоне. Её название больше не отображало объём одного цилиндра, но расшифровывалось по тому же принципу, что и у младших моделей: цифра "5" обозначала объём двигателя в литрах (4943 см3), "12" - количество цилиндров, а "BB" - аббревиатура от "Berlinetta Boxer". Мотор по-прежнему имел оппозитную конфигурацию и располагался продольно перед ведущей задней осью. С четырьмя верхними распредвалами, четырьмя 3-камерными карбюраторами Weber и системой смазки с сухим картером его мощность составляла 360 л.с. Дизайн кузова и конструкция шасси в целом не изменились, за исключением расширенной на 43 мм задней колеи. Внешне Ferrari 512 BB отличалась встроенным передним спойлером, воздухозаборниками NACA перед задними колёсами для охлаждения выхлопной системы и двойными задними фонарями вместо тройных. Как и раньше, кузов строился на бывшем заводе Scaglietti по проекту Pininfarina.

Ferrari 512 BB никогда официально не продавалась в США, потому что не соответствовала требованиям местного законодательства. В Европе её продажи были невысокими: с 1976 по 1981 гг. было выпущено 929 единиц. В 1981 г. появилась следующая модификация Ferrari 512 BBi, у которой оппозитный 12-цилиндровый двигатель был оснащён впрыском топлива Bosch K-Jetronic и электронным зажиганием Digiplex. В связи с экологическими ограничениями мощность снизилась до 340 л.с. До 1984 г. было построено ещё 1007 автомобилей, после чего в продажу поступила Ferrari 512 TR. 

Вилли Кёниг познакомился с Энцо Феррари в 1962 г., когда Коммендаторе лично пригласил его в Маранелло, чтобы отметить его победу в чемпионате Германии по заездам на гору за рулём автомобиля Ferrari 250 GT SWB. В 1974 г. Кёниг стал одним из первых владельцев среднемоторного суперкара Ferrari 365 GT4 BB, но после опыта вождения Lola T70 и Ford GT40 машина ему не понравилась. Бывшему гонщику показалось, что она недостаточно быстра, недостаточно отзывчива в управлении и недостаточно хорошо звучит. Чтобы исправить эти недостатки, Кёниг увеличил мощность оппозитного 12-цилиндрового двигателя, сделал более жёсткой подвеску, обул суперкар в широкие шины и прикрыл их пластиковыми расширителями колёсных арок. Поначалу люди высмеивали его крылатый обвес, но когда увидели, как автомобиль ведёт себя на треке, сразу же стали обращаться к Кёнигу с просьбой построить им точно такой же. В 1977 г. Вилли открыл ателье под названием Koenig Specials и поставил тюнинг Ferrari на поток. Энцо Феррари не мог простить немцу такого кощунства: угрожая судебными исками, он заставил Кёнига удалить с его машин значки в виде гарцующего жеребца и впредь нигде не называть их Ferrari.

Компания Koenig Specials предлагала несколько тюнинг-пакетов для модели Ferrari 512 BB. Первый включал только доработанную выхлопную систему (370 л.с.), второй – высокопроизводительные распредвалы (400 л.с.), третий – модифицированные головки цилиндров, специальные поршни и карбюраторы (450 л.с.). Также можно было установить на Berlinetta Boxer два турбонаддува Rajay с двумя интеркулерами. С ними мощность оппозитного 12-цилиндрового мотора составляла 620 л.с., разгон до 96 км/ч – 3.9 с, а максимальная скорость – 332 км/ч. Как правило, все Ferrari 512 BB от Koenig Specials имели аэродинамические бамперы, два задних спойлера, расширенные колёсные арки, боковые «гребни» или воздухозаборники NACA, усиленную подвеску и тормоза, магниевые диски и шины размерностью 225/50 VR15 спереди и 345/55 VR15 сзади. До 1985 г. было построено около 50-ти таких автомобилей.

Ferrari Berlinetta Boxer так и не смогла повторить в Ле-Мане успех модели Daytona, доминировавшей в классе GT в 1972-1974 гг. Компания Ferrari больше не оказывала поддержку частным командам, поэтому разработкой гоночной версии Ferrari 365 GT4 BB занимался её крупнейший дилер Луиджи Чинетти, владелец команды NART. Лучшее, чего смог достичь его автомобиль - 6-е место в Себринге в 1975 г. С появлением Ferrari 512 BB к Чинетти присоединились его французский коллега Шарль Поцци и бельгийская команда Ecurie Franchorchamps. Вместе они подготовили четыре гоночных машины для Ле-Мана 1978 г., но ни одна из них не дошла до финиша, за исключением модифицированной 365 GT4 BB, которая заняла 16-е место в общем зачёте. Только после этого Луиджи Чинетти уговорил Энцо Феррари принять участие в программе.

Ferrari 512 BB LM была разработана отделом Ferrari Assistenza в Модене и протестирована в аэродинамической трубе Pininfarina. Она получила сильно изменённый кузов с длинными свесами, расширенными колёсными арками, фиксированными фарами, остеклённой хвостовой частью крыши и большим антикрылом. Мощность 5-литрового оппозитного 12-цилиндрового двигателя была доведена до 480 л.с. С 1979 по 1982 гг. было построено 25 таких машин. В конкуренции с Porsche 935 они не имели никаких шансов на победу, но всё же показали неплохие результаты в сравнении с предшественниками: 1-е место в классе GTX и 5-е в общем зачёте в Ле-Мане 1980 г. и 6-е место в общем зачёте в Ле-Мане 1981 г.