Игровая карьера Чепмена была не слишком удачной, как игрок он не выиграл ни одного турнира, сменил большое число клубов разного уровня, нигде не задерживаясь надолго. Первые успехи к нему пришли, когда он был играющим тренером, а затем и просто тренером клуба «Нортгемптон Таун» — команда выиграла Южную лигу. Затем он работал с «Лидс Сити», однако там каких-либо успехов не добился. Во главе клубов «Хаддерсфилд Таун» и «Арсенал» Чепмен достиг высоких результатов, по нескольку раз выиграв чемпионат, Кубок и Суперкубок Англии.
Сезон 1924/25 подходил к концу, «Хаддерсфилд» шёл к своему второму титулу, а в это время в лондонском клубе «Арсенал», на тот момент являвшемся аутсайдером высшего дивизиона и не выигравшем ни одного крупного трофея, искали нового главного тренера (менеджера) взамен уволенного Лесли Найтона. Председатель «Арсенала» сэр Генри Норрис разместил в газете Athletic News следующее объявление: «Футбольный клуб „Арсенал“ открыт для претендентов на пост менеджера команды. Это должен быть опытный, обладающий высокой квалификацией человек с хорошими способностями и характером. Джентльмены, которые могут создать хорошую команду лишь при помощи вложения огромных средств, нам не нужны.». Вскоре Чепмен откликнулся на это предложение, привлечённый как желанием работать в столице, в клубе со значительным числом болельщиков, а не в провинциальном йоркширском городке, так и вдвое большей зарплатой (две тысячи фунтов стерлингов вместо одной тысячи в «Хаддерсфилде»).

Бронзовой бюст Чепмена в холле стадиона «Эмирейтс», нынешней домашней арены «Арсенала».Первым шагом Чепмена на посту тренера «Арсенала» стало приобретение у «Сандерленда» форварда Чарли Бьюкена, игрока сборной Англии, который является одним из лучших бомбардиров в истории «Сандерленда»; Чепмен назначил Бьюкена капитаном «Арсенала».

В июне 1925 года, вскоре после прихода Чепмена в «Арсенал», ФИФА изменила правило о положении «вне игры»: если ранее для того, чтобы форвард не находился в офсайде, перед ним должно быть находиться минимум три игрока, теперь было достаточно двоих; сделано это было ввиду роста количества искусственных офсайдов и, как следствие, снижения результативности. В результате поправки нападающие получили значительно бо́льшую свободу действий, чем ранее. Двух защитников было уже недостаточно. Идея, которую подал Бьюкен и воплотил Чепмен, состояла в том, чтобы оттянуть центрального полузащитника в центр обороны и играть в три защитника. Таким образом, на смену схеме 2-3-5 пришла схема 3-2-5, получившая также названия «W-M» и «дубль-вэ». «Арсенал» не был единственной командой, которая практиковала эту схему в начавшемся сезоне 1925/26 — пробовал оттягивать центрального хавбека в оборону и «Ньюкасл», разгромивший, кстати, в том сезоне «Арсенал» со счётом 7:0 (этим оттягиваемым у них был видный в те годы игрок Чарли Спенсер), подобную тактику практиковали «Тоттенхэм» и «Куинс Парк». Однако именно Чепмен смог лучше всего воплотить в жизнь эту идею, следуя тем же принципам, что и ранее — контратакующий футбол, играющие в пас вингеры и сильная защита.

В сезоне 1925/26 «Арсенал» стал вторым в лиге, уступив «Хаддерсфилду», бывшему клубу Чепмена, пять очков; так «Хаддерсфилд» стал первым клубом Англии, выигравшим два титула подряд. Оставшуюся часть 20-х годов «Арсенал» в основном пребывал в середине таблицы; Чепмен подыскивал нужных игроков для своей игровой системы, неторопливо следуя своему плану по достижению успеха. От того состава, что имелся при Найтоне, Чепмен оставил всего нескольких игроков, таких как Боб Джон, Альф Бейкер и Джимми Брейн. В феврале 1926 года он приобрёл вингера Джо Халма, который станет одним из лучших игроков клуба последующих лет, летом того же года были приобретены форвард Джек Лэмберт и защитник Том Паркер, последний позднее сменит Бьючана в роли капитана. В сезоне 1926/27 «Арсенал», будучи середняком лиги, дошёл до финала Кубка Англии, где уступил 0:1 «Кардифф Сити» после того, как Хьюи Фергюсон воспользовался ошибкой голкипера Дэна Льюиса.

В 1927 году «Арсенал» оказался в центре скандала: проверка, проведённая Футбольной ассоциацией, показала, что Чарли Бьюкен тайно получал дополнительные выплаты и таким образом нарушался установленный лимит зарплат; через два года председатель клуба Генри Норрис был отстранён от футбола пожизненно; ни Чепмен, ни Бьюкен не понесли наказания. После дисквалификации Норриса первым лицом клуба стал Сэмуэль Хилл-Вуд, бывший более мягким руководителем, чем Норрис; при Хилл-Вуде влияние Чепмена в клубе возросло. Чепмен продолжал выстраивать команду, приобретя таких атакующих игроков, как Дэвид Джек, Алекс Джеймс и Клифф Бастин, и защитников Герби Робертса и Эдди Хэпгуда. При покупке Дэвида Джека случилась любопытная ситуация: «Болтон Уондерерс», за который играл Джек, запросил за него 13 тысяч фунтов, после чего Чепмен на переговорах хитростью напоил руководство «Болтона» и затем уговорил их уменьшить цену до 10 890 фунтов (однако и это стало рекордной на тот момент трансферной суммой).

Схема «дубль-ве», изобретённая ЧепменомВ сезоне 1929/30 действия Чепмена по руководству клубом начали приносить успехи. Команда выиграла Кубок Англии, победив в финале «Хаддерсфилд» со счётом 2:0 благодаря голам Алекса Джеймса и Лэмберта. Впрочем, в чемпионате команда стала лишь 14-й. Суперкубок Англии 1930 года был выигран «Арсеналом», победившим со счётом 2:1 чемпиона страны, клуб «Шеффилд Уэнсдей», благодаря голам Халма и Джека. Это было начало эпохи доминирования «Арсенала» в английском футболе. К этому времени Чепмен довёл до совершенства свою игровую схему. Команда действовала на контратаках, практиковала быструю игру в пас. Центрфорварда Лэмберта поддерживали инсайды (оттянутые форварды) Джек и Джеймс, Бастин и Халм играли на флангах. Защитники команды играли глубоко, а когда соперник владел мячом, в оборону оттягивались и вингеры, таким образом, соперники встречались с массированной обороны из пяти человек. Как только «Арсенал» получал мяч — он тут же переводился на чужую половину поля (обычно атаку начинал центральный хавбек Герби Робертс), где оказывалось семь человек (пять форвардов и два вингера), которые проводили быструю и зачастую результативную контратаку. Система Чепмена требовала от игроков хорошей физической подготовки. В то время традиционной была тактика, при которой упор делался на владение мячом и дриблинг, тактика Чепмена была новшеством, и не все её принимали — одни обвиняли команду в том, что успехами она обязана везению, другие в скучной игре.

В сезоне 1930/31 «Арсенал» выиграл свой первый чемпионский титул, опередив на семь очков ближайшего соперника — «Астон Виллу». В том сезоне команда забила 127 голов в 42 мачтах лиги, что по сей день остаётся рекордом в клубной истории. Впрочем, игравшая тогда в сверхатакующий футбол «Вилла» обошла этот выдающийся результат на один гол. Суперкубок 1931 года был выигран «Арсеналом» благодаря единственному голу Бастина в ворота «Вест Бромвича». В сезоне 1931/32 «Арсенал» стал в лиге вторым, уступив два очка «Эвертону», в котором блистал Дикси Дин, и вышел в финал кубка, где уступил «Ньюкаслу» 1:2 — на гол Боба Джона дублем ответил форвард соперника Джек Аллен.

В сезоне 1932/33 «Арсенал» потерпел громкую неудачу в кубке — после того, как пять игроков основного состава заболели гриппом и не могли играть, полурезервный состав команды уступил клубу Третьего северного дивизиона, «Уолсоллу», со счётом 0:2, и это стало сенсацией. Разгневанный Чепмен в течение двух недель продал двух игроков, на которых возложил основную вину за поражение — Томми Блэка и Чарли Уэлша. В лиге же в том сезоне клуб выступал отлично, в итоге выиграв первенство и забив в нём 118 мячей, в решающем матче соперник по борьбе за титул, «Астон Вилла», был разгромлен со счётом 5:0. В мае 1933 года Чепмена пригласили поработать со сборной Англии, отправившейся играть на континент; выбор состава был произведён без его участия людьми из Футбольной ассоциации, а выбор тактики и отдача установок команде производились им. Под его руководством команда провела две игры, сведя вничью 1:1 матч с итальянцами (через год те станут чемпионами мира) и разгромив со счётом 4:0 швейцарцев.

Чепмен отмечал, что команда стареет, а резервы ненадёжны, и говорил директору клуба Джорджу Эллисону: «Эта команда отыграла своё, мистер Эллисон, мы должны выстроить команду заново». Чепмен начал процесс «выстраивания», приобретя таких игроков, как Рэй Боуден, Пэт Бисли и Джимми Данн, и переведя юного левого хавбека Джорджа Мейла на правый фланг обороны, где он впоследствии блестяще выступал. В конце лета Чепмен завоевал свой четвёртый и последний суперкубок, «Арсенал» переиграл «Эвертон» со счётом 3:0, два гола забил Ральф Бёркетт, один — Боуден. Дожить до конца сезона 1933/34 Чепмену не было суждено. Матч «Арсенал» — «Бирмингем Сити» (0:0), прошедший 30 декабря 1933 года, стал последним в жизни тренера Чепмена. После той игры «Арсенал» шёл в таблице первенства первым с 4-очковым отрывом.

Могила Герберта Чепмена и его жены Анни в Хендоне, около церкви Святой Марии.Чепмен, проживавший тогда в лондонском пригороде Хендон, отпраздновал Новый год в Лондоне, после чего поехал на север, посетив с разведывательной целью матч «Бери» и «Ноттс Каунти». На следующий день он приехал в родной Йоркшир просматривать «Шеффилд Уэнсдей», следующего оппонента «Арсенала», после чего переночевал в родном доме в Кайвтон Парке. Он вернулся в Лондон простуженный, однако ещё имел достаточно сил, чтобы посетить матч третьей команды «Арсенала» против «Гилдфорд Сити». Вскоре после этого состояние здоровья Герберта резко ухудшилось, началась пневмония, жизнь быстро покидала его. В первые часы 6 января 1934 года Герберт Чепмен скончался в своём доме в Хендоне. Четырьмя днями позже он был похоронен около церкви Святой Марии в Хендоне (Hendon St Mary Parish Church). Его вдова, Анни, пережила мужа на 24 года. У них было четверо детей — сыновья Кен и Брюс и дочери Молли и Джойс. Кен играл в регби за клуб «Арлекинс», затем был президентом Регбийного союза Англии.

Мемориальная табличка на доме в Хендоне, где жил и умер Герберт Чепмен.После его смерти остаток сезона 1933/34 «Арсенал» возглавлял Джо Шоу, а затем на 13 лет пост главного тренера клуба занял Джордж Эллисон. Сезоны 1933/34 и 1934/35 завершились победой «Арсенала» в чемпионате, помимо этого на протяжении 30-х гг. клуб выиграл ещё по разу чемпионат и кубок и дважды — суперкубок, в чём была и заслуга Чепмена.