Что нового в NeBlask

Без DataForSEO: шесть бесплатных источников, починенные лицензии, омонимы Wikipedia

Владелец решил пока не пополнять DataForSEO — раунд «делай всё, что можно без него». Индекс от DFS не зависит (CrUX-срез по 65 странам, крон 15-го числа). Добавлены Wikipedia pageviews, HIBP-утечки, Affiliate Guard Dog (профильный для affpapa сигнал: 17 rogue + 148 warning брендов), реестр авторизованных операторов Бразилии SPA (48 брендов, .bet.br-домены), RDAP (регистратор/истечение/DNSSEC), Common Crawl (размер сайта, «закрыт от ботов»). Вскрыто: 80 из 159 «статей Wikipedia» были омонимами, импорт лицензий MGA не запускался с 07.08, матчер лицензий не знал про юрлицо-оператора.

• функция `neblask:wiki-pageviews` — просмотры статьи за 13 месяцев (daily-эндпоинт Wikimedia, monthly за закрытый месяц отдаёт лишь 1-е число), MoM/YoY/пик; строка в блоке «Популярность и авторитет». `neblask:hibp-breaches` — Have I Been Pwned (1026 утечек, один запрос): 1win 96M записей, Paddy Power 591K, Borgata/MGM 27,9M; янтарная плашка «Утечка данных»; матч по названию только у утечек без своего домена (aura.com/playbook.vc — тёзки).
• функция `neblask:affiliate-guard-dog` — 1800 партнёрских программ из индекса AGD (rogue 85 / predatory 328 / certified 289): сматчено 564 бренда — rogue 17 (Unibet с 2008, Ladbrokes, PokerStars, William Hill, Videoslots…), warning 148 (1xbet, 22bet, Betwinner, Casumo, 888casino, Roobet…) с флагами «Predatory T&Cs»/«Negative Carryover» и датой «Moved to Rogue House». Красная/янтарная плашка «Партнёрская программа…» на паспорте, `signals.affiliate_guard_dog` в API.
• функция `neblask:brazil-spa` — 85 юрлиц / 188 марок / 164 домена .bet.br с gov.br: 48 брендов получили лицензию `spa-br` (портария SPA/MF), 10 новых .bet.br-доменов. Предохранитель: юрлицо на >3 брендов (Skill On Net LTDA → 25 немецких вайтлейблов) считается группой и не матчится.
• функция `neblask:rdap` — RDAP вместо WHOIS: регистратор, created/expires, EPP-статусы, DNSSEC; закрыто 40 из 453 дыр whois_created; «истекает через N дн.» янтарём на паспорте (William Hill: 12 дней). Лимиты по зонам: SIDN (.nl) и Nominet режут с первого запроса — breaker считается per-TLD. `neblask:cc-index` — Common Crawl CDX: URL/хосты/доля 403 («закрыт от ботов»: bet365 94%), рост между кроулами, первый кроул; блок «Web footprint».
• фикс Wikipedia: 80 из 159 статей в `extra.wikipedia` были чужими (Lemon → цитрус, Kraken → чудовище, Vegas → город, Toto → сантехника, Coral → кораллы). `WikipediaPull` теперь требует гемблинг-слова в описании, иначе пробует «Name (bookmaker)/(casino)/(company)» (Coral → «Coral (bookmaker)»), иначе `exists=false, homonym=true`. Омонимы сброшены, полный перепрогон запущен.
• фикс Лицензии: `neblask:import-mga-licenses` (Puppeteer по JS-реестру MGA) не был ни в расписании, ни в autopilot с 07.08 — теперь в autopilot/14д. `LicenseMatcher` получил шаг «ядро юрлица == юрлицо-оператор бренда»: MGA 27 → 60 матчей (лицензий MGA 19 → 61), общий пулл перезапущен. Скреперы KSA (реестр переехал) и ADM (Liferay) мертвы — по 5 лицензий, хвост.
• ops В autopilot: wiki-pageviews 30д, hibp 7д, rdap 30д, cc-index 60д, brazil-spa 7д, affiliate-guard-dog 14д, import-mga-licenses 14д. API-контракт: 82 сигнала. `trans_choice()` в партиалах заменён на `Nav::plural` (давал «2 юрисдикция»). +45 тестов.

Перепроверка и обогащение: 8 блоклистов, реестр Curaçao CGA, честный freshness, DFS-guard

Третий заход за день — по просьбе владельца «перепроверь всё основательно и обогащай». Блоклистов стало 8 юрисдикций (добавлены Греция, Норвегия, Швейцария): 1013 из 1979 брендов в ≥1 реестре. Подключён публичный реестр лицензий Curaçao Gaming Authority (PDF, 661 лицензия + 31 отзыв): лицензий CGA в базе 18 → 144, два отзыва на таймлайне (KTO, GeniePlay). Найдено, что neblask:freshness по построению всегда говорил OK, а у autopilot не было защиты от нулевого баланса DataForSEO — оба закрыты.

• функция Блоклисты +GR (HGC, xlsx через ZipArchive, 14.8k апексов с датой решения), +NO (Lottstift, CSV с версионной ссылкой со страницы), +CH (Gespa + ESBK, PDF через pdftotext, 4k апексов с датами). CH считается загруженным только если пришли обе половины. Итог: GR 657, PL 635, IT 478, CH 400, CZ 135, BE 132, FR 59, NO 48 брендов.
• функция `neblask:cga-registry` — реестр Curaçao Gaming Authority: PDF с CDN (самый свежий по дате в имени), pdftotext, парсер переносов юрлиц/статусов и опечаток регулятора. Матчинг по ядру юрлица с `extra.operator`, точному имени/алиасу бренда, pg_trgm ≥ 0.8 (порог 0.6 давал только ложные: Horizonix→horizon). B2B-лицензии в бренды не пишутся. 95 B2C-лицензий → 135 строк брендов (Dama N.V. → Oshi/Joo/24Casino; Scores55 → mBit/7Bit/KatsuBet). 31 запись enforcement-реестра → `neblask_enforcement_actions` (license_revoked). Миграция: unique лицензии стал (regulator, number, brand) — одно юрлицо на много казино.
• фикс `neblask:freshness` считал свежесть сигнала как `max(updated_at)` строк бренда с ключом — любое обновление бренда чем угодно делало сигнал «свежим», отсюда вечный «0 stale». Теперь `max(checked_at)` самого сигнала; добавлены Blocklists, Operator, Sanctions, CrUX, PageSpeed, Trustpilot deep, Site crawl, Enforcement, Domain backlinks.
• фикс Autopilot: баланс DataForSEO читается один раз за прогон; при балансе < $0.50 все DFS-задачи (trends, clickstream, domain-rank и organic-traffic из FREE_TASKS, который исторически тратил $1.2/прогон без учёта) пропускаются с пометкой вместо падений «40200 Payment Required». `--dry-run` показывает баланс.
• фикс TrustScore: отозванные/истёкшие лицензии (revoked, expired, suspended, surrendered, lapsed) больше не дают баллов в regulatory-компоненте — до этого отзыв CGA считался как активная лицензия (+3).
• данные 8 «main»-доменов из serp_discovery оказались чужими площадками (quora, weebly, bigcartel, tiktok.com, yelp, blogspot, gitbook) → kind=rejected, их crux/blocklist/urlscan сброшены. Оператор: приоритет материнских регуляторов (UKGC/MGA/GI/IM/Alderney/CGA) над локальными рыночными — William Hill → WHG (International) Limited (GB) вместо WHG Ceuta S.A. (ES); паспорт показывает «Страна лицензии» и «Источник: реестр регулятора UKGC / Casino Guru / Wikipedia (LLM)».
• ops SanctionsCheck при исчерпанной квоте OpenSanctions возвращает 0 (интервал 1д, алерт был бы ежедневным шумом); `cga` добавлен в config/neblask.php regulators; OpenAPI-описание signals → 79 типов; +22 теста (BlocklistSourcesTest 11, CgaRegistryTest 11).

Догон по решению владельца: ScrapFly-регуляторы, новые источники популярности, шардинг, бюджетные дыры

Владелец разрешил тратить ScrapFly и квоты: NJDGE и DGOJ снова отдают enforcement (+110 записей с датами), три новых источника популярности/авторитета (CrUX top-1M уже собран: 637 брендов; Open PageRank и Cloudflare Radar ждут бесплатных ключей), pagespeed/trustpilot-deep/site-crawl поставлены в autopilot, Safe Browsing ходит батчами по 500, у тяжёлых парсеров появился --workers. Попутно найдены две причины «никогда» в статусе autopilot: domain-rank оценивался в $0.40 при дневном бюджете $0.33, а PageSpeed читал ключ через env() и годами работал без ключа.

• фикс Enforcement NJDGE: старые страницы DGE удалены (честный 404), данные теперь из WP REST `njoag.gov/wp-json/wp/v2/posts?categories=127,66` через ScrapFly (asp, us; 25 кредитов/прогон). DGOJ: сайт убрал префикс `/es/` — отсюда 404 отовсюду; подключены реестр `datos-estudios/resoluciones-sancionadoras` (год, оператор, ES/YYYY/NNN, тип) и `/novedades` (1 кредит/страница). Испанские ключевые слова и суммы («1.200.000 euros», «1,5 millones de euros»). published_at заполнен у всех новых строк; matched-to-brand: DGOJ 20.
• функция `neblask:crux-rank` — Chrome UX Report top-1M (CSV без ключа, ~5 с прогон): 637 брендов с рангом (top-1k: 10, top-5k: 19, top-10k: 28, top-50k: 101). Апекс засчитывается только если бренд им владеет — иначе b9casino получал top-1000 от quora.com. `neblask:openpagerank` (батчи по 100, заголовок API-OPR) и `neblask:cf-radar` (rank/bucket/категории/top-локации, circuit-breaker на 429) готовы и ждут `OPENPAGERANK_API_KEY` / `CLOUDFLARE_RADAR_TOKEN` в .env — до этого пишут маркер skipped_no_api_key и не светятся в API.
• интерфейс Паспорт: блок «Популярность и авторитет» (CrUX top-N, OPR, Radar + аудитория) — монохром, моно-цифры; `signals.crux/openpagerank/cf_radar` в API v1 (контракт 79).
• фикс Autopilot: domain-rank оценивался в $0.40 за 200 доменов при дневном бюджете $0.33 — `canSpend()` не проходил ни разу, отсюда «Domain Rank: никогда». Ручной прогон по всему каталогу вскрыл вторую ошибку: константа `COST_DOMAIN_RANK=0.002` занижала цену в 12 раз — `backlinks/summary/live` стоит $0.024/домен, 997 доменов съели весь баланс DataForSEO ($23.94 → −$0.02). Данные получены (1088 доменов с backlinks/rank), но trends/clickstream встанут с «Payment Required» до пополнения. Константа исправлена, слот autopilot — 12 самых старых доменов ($0.29) раз в 30 дней, DomainRank идёт stalest-first вместо алфавита. PageSpeed читал `env('GOOGLE_PAGESPEED_KEY')` — на проде после config:cache это null; переведён на `config('services.google.pagespeed_key')`.
• ops В autopilot добавлены pagespeed (300/нед), trustpilot-deep (100/нед, ScrapFly), site-crawl (150/нед, ~13 кредитов/бренд), crux-rank/openpagerank/cf-radar (30д). Разовые догоны запущены: pagespeed 500, trustpilot-deep 300 (готово), site-crawl 300.
• скорость Safe Browsing v4 — батчи до 500 URL за один POST вместо запроса на бренд (одна схема https: API канонизирует URL); сбой запроса больше не пишет not_found на 14 дней; починен preserveKeys-баг, из-за которого бренд, бывший is_safe=true, не мог стать false. Ключ подвязан к Google-ключу PageSpeed — владельцу осталось включить Safe Browsing API в проекте 1080501741246.
• скорость `--workers=N --worker=K` (шардинг по id, трейт `ShardsByWorker`) у 13 тяжёлых команд: DeepScan, ScreenshotCapture, SecurityCheck, SupportScan, SiteCrawl, GeoScan, GeoScanExtended, BonusesScan, TrustpilotReviews, PageSpeed, DnsInfra, DomainHealth, WhoisAge (последним трём добавлен --limit). DomainHealth при шарде не перезаписывает сводный снапшот.
• test +45 тестов: WorkerShardingTest (13), SafeBrowsingBatchTest (9), PopularitySourcesTest (9), EnforcementParsingTest +14 (NJ JSON, реестр DGOJ, испанские суммы).

Блоклисты регуляторов, оператор без LLM, stalest-first по-настоящему

Новый сигнал паспорта — реестры блокировок пяти регуляторов (IT ADM, FR ANJ, PL Минфин, BE Gaming Commission, CZ Минфин): 814 из 1987 брендов с доменами в ≥1 реестре. Юрлицо-оператор теперь собирается из лицензий и каталогов без LLM: 48 → 690 брендов. Найдено, что фикс same-100-brands от 20.08 был мёртвым кодом — ни один парсер не передавал ключ свежести; подключён во все 22. Закрыты три тихих бага, которые подменяли данные: 429 от OpenSanctions записывался как «clean», urlscan 19 часов крутил 429 вхолостую, autopilot падал целиком из-за одной задачи.

• функция `neblask:blocklist-sync` — реестры доменов, предписанных к блокировке: IT (txt, 10.5k апексов), FR (csv с датой решения), PL (XML API, 26k апексов), BE (HTML), CZ (CSV cp1250 с версионной ссылкой). Матчинг по eTLD+1 (`App\Support\Apex`), зеркала по подстроке намеренно не считаются. В autopilot раз в 7 дней, без ключей, прогон ~1 мин. Блок «Блокировки регуляторов» на паспорте, `signals.blocklist` в API v1.
• интерфейс Паспорт: красный блок с таблицей «страна · регулятор · домен · с какой даты · записей». У лицензированных в стране операторов (кросс-чек с реестром лицензий: adm/anj/gc-be) — янтарный бейдж «лицензия в стране есть»: в ADM попадает международный .com, локальная .it работает легально. Текст блока прямо говорит, что это не оценка честности выплат.
• функция `neblask:operator-extract` переписан: wiki-описание есть лишь у 160 брендов, поэтому добавлена цепочка без HTTP — `neblask_brand_licenses.legal_entity` (реестры регуляторов) → Casino Guru owner/operator → AskGamblers company → CasinoListings → Casino Guru краткий (только с корпоративным суффиксом). Флаг `--no-llm`. Покрытие operator ok: 48 → 690 брендов; страна = юрисдикция лицензии с пометкой `operator_country_basis`.
• фикс Critical: stalest-first в `loadBrandsForScraping()` (v6.11.0) не работал — все 22 вызова шли без `$freshnessKey` и по-прежнему крутили первые 100 брендов алфавита (serp: обновлённые за 3 дня = ранги 1..100 по имени). Ключ прописан в каждый парсер (SiteCrawl → about_page, DeepScan → languages), закреплено тестом. Медиана возраста ~35 сигналов (22 дня) начнёт падать с ближайших прогонов.
• фикс `neblask:sanctions-check`: HTTP 429 от OpenSanctions молча превращался в «clean» с checked_at — за один прогон так «очистили» 400 брендов, включая реальные хиты по Parimatch/Pin-Up/Betwinner (санкции СНБО Украины) и литовскому списку нелегалов. Теперь 429 = исключение без записи, стоп после 3 подряд; ложные clean сегодняшнего прогона сброшены. Плюс фильтр схожести имён (`Polar Limited` больше не матчит «ЗАПОЛЯРНАЯ СТРОИТЕЛЬНАЯ КОМПАНИЯ») и очистка спецсимволов запроса (`A/S` давал HTTP 400). В autopilot — 100 брендов ежедневно вместо 50 раз в 30 дней.
• фикс `neblask:urlscan-fingerprint`: анонимная квота 500 search/день на IP; прогон `--limit=2500` 19 часов ловил 429 (3×60с на бренд) и не записал ничего. Добавлены `API-Key` из `config('services.urlscan.api_key')`, ожидание по `X-Rate-Limit-Reset-After`, остановка после 3 брендов подряд с 429 (`RateLimitedException`). Без ключа рост покрытия ≤150 брендов/день.
• фикс Autopilot возвращал FAILURE при любой упавшей задаче из 60 — cron-алерт «autopilot failed» приходил каждый день с 15.08. Теперь FAILURE только если не отработала ни одна задача; частные падения остаются в `Log::error` и `--status`. `withoutOverlapping(1200)` вместо дефолтных 24 часов.
• фикс `neblask:enforcement-sync`: MGA переехал на `/licensee-hub/enforcement-register/` (аккордеон с датой в заголовке) — 0 → 30 записей с датами; UKGC отдаёт даты текстом «20 August 2026» — `published_at` был NULL у 100% строк, теперь заполнен у UKGC/MGA. `extractOperator`: без `/u` em dash резал UTF-8 и терял оператора; `\bpenalis\b` не матчил «penalised»; `matchBrand` получил `word_similarity` для юрлиц длиннее бренда («William Hill Organization Ltd» → william-hill).
• security `neblask:whois-age`: `shell_exec("whois {$domain}")` без экранирования — домен приходит из discovery-парсеров. Теперь `escapeshellarg`.
• скорость Sleep-дефолты выровнены по реальным лимитам API: DnsInfra и SecurityCheck 1→0 (локальный резолвер / каждый бренд — свой хост, −40 мин на прогон), Wikipedia-парсеры 1→0.3, Reddit 2→6 (10 req/min без auth — раньше каждый третий запрос получал 429 и sleep 30), VirusTotal 2→16 (4 req/min), AppStore 1→3. CasinomeisterPull: eager-load доменов вместо N+1.
• ops Убиты 16 осиротевших bash-вотчеров с 07–20.08: `until [ $(pgrep -f "artisan neblask" | wc -l) -le N ]` никогда не завершается — pgrep матчит собственную командную строку. Миграция `2026_08_21_090000` фиксирует pg_trgm и CHECK `neblask_brands_extra_object_chk`, которые жили только на проде.
• API API v1 `brands/{slug}.signals`: добавлены `operator`, `sanctions`, `urlscan_fingerprint`, `blocklist` — контракт расширен с 72 до 76 сигналов (расширение, не breaking change).
• test +98 тестов / 240 ассертов: `BrandMergeExtraTest` (атомарный merge, CHECK), `ScrapesIntoBrandExtraTest` (stalest-first, mergeIntoExtra не затирает данные при сбое), `OperatorExtractTest` (LLM-мок + structured-цепочка), `EnforcementParsingTest` (regex-регрессия delimiter `#`, pg_trgm-матчинг), `UrlscanFingerprintTest` (circuit-breaker на 429, API-Key). Полный сьют: 929 → 1027+ зелёных.
• research Исследование 50+ источников: следующая волна — CrUX top-1M (CSV без ключа), Open PageRank и Cloudflare Radar (бесплатные ключи — за владельцем), Kahnawake permit holders, OONI, реестр Curaçao CGA (PDF), блоклисты GR/NO/CH, Brazil SPA. Отклонены с причинами: Google Ads Transparency, PhishTank, Spamhaus, eCOGRA.

Compliance на паспорте + fix same-100-brands + перф

Compliance-блоки (оператор, санкции, whitelabel, enforcement-timeline) появились на паспорте бренда. Найден и исправлен critical-баг покрытия: 30+ парсеров годами обходили одни и те же 100 брендов в алфавите — Winbet/Zenit/Zeus никогда не попадали в extra. Плюс убран лишний refresh() из Brand::mergeExtra (-35k SELECT/сутки).

• интерфейс Паспорт бренда: 4 новых блока — Оператор (юрлицо + страна + штаб-квартира + год + тикер), Санкции (зелёная 'проверено' / красная 'В санкционном списке' с деталями), Whitelabel-платформа (SoftSwiss/Playtech/EveryMatrix + hosting IP/ASN), Timeline enforcement-действий регуляторов. Живой хит: /neblask/brand/nordicbet — BML Group Ltd в литовском списке нелегального игорного бизнеса.
• фикс Critical: `ScrapesIntoBrandExtra::loadBrandsForScraping` использовал `orderBy('name')->limit(N)` — 30+ парсеров годами обходили одни и те же первые 100 брендов в алфавите. Winbet/Zenit/Zeus никогда не попадали в extra. Заменено на stalest-first (NULL checked_at первыми, потом самые старые), опциональный параметр $freshnessKey — backward-compat.
• скорость Brand::mergeExtra() больше не вызывает $this->refresh() — 35k лишних SELECT'ов в сутки убрано. Grep подтвердил: ни один парсер не читает $brand->extra сразу после mergeExtra.
• скорость TrustpilotPull получил --limit=N + stalest-first sort. Autopilot вместо 2373 брендов × 2s (~120 мин прогон) теперь берёт 100 самых устаревших каждый слот (~6 мин, полное покрытие за 24 недели).
• фикс Blade cache: crumbs.blade.php скомпилированная версия сыпала 'unexpected token endif' 86 раз с 11:21. view:clear закрыл, /neblask/brand/twin снова 200.
• фикс Убран /tmp/diag_datesort.php (ручной скрипт, конфликтовал с symfony/var-dumper dump()).

Compliance-модуль: операторы, Companies House, санкции, enforcement

Три новых слоя данных для каждого бренда: юрлицо-оператор (LLM из wiki), корпоративные записи (Companies House UK), санкции (OpenSanctions) + timeline enforcement-действий 8 регуляторов (UKGC/MGA/Spelinspektionen/KSA/iGO/PGCB/NJDGE/DGOJ).

• данные OperatorExtract (LLM через CloseRouter): вытаскивает юрлицо-оператора из wiki-описания (Evoke plc, Betsson AB, Kindred Group plc, LeoVegas Gaming Ltd, Ålands Penningautomatförening — уже в базе). Свежесть 90 дней, интервал autopilot 90д.
• данные CompaniesHouseLookup: директора, PSC (persons with significant control), финансовая отчётность юрлица через api.company-information.service.gov.uk. Ждёт COMPANIES_HOUSE_API_KEY в .env (бесплатный ключ на developer.company-information.service.gov.uk).
• данные SanctionsCheck: OFAC/EU/UN/UK sanctions + PEP-статус для оператора и всех директоров через api.opensanctions.org. Ждёт OPENSANCTIONS_API_KEY в .env (OpenSanctions v4 требует ключ на все endpoints — free tier у них есть).
• данные EnforcementSync: timeline штрафов, отзывов лицензий, AML-нарушений 8 регуляторов (UKGC/MGA/Spelinspektionen/KSA/iGO/PGCB/NJDGE/DGOJ). Новая таблица neblask_enforcement_actions с fuzzy-match к бренду через pg_trgm. UKGC пилот: £4.75M Evolution Malta, £900k Petfre, £609k QuinnBet AML.
• фикс EnforcementSync HTML-parser: regex delimiter '#' конфликтовал с '#' внутри character class [^"#], роняло 4 регулятора из 8. Delimiter заменён на '~', перезапуск догоняет пропущенное.
• скорость Autopilot 55 → 60 задач (+5 compliance/enforcement). AutopilotRegistryTest 64 passed. Все команды регистрированы, опции валидны.

Whitelabel-детекция + аудит: 5 фиксов, +6 сирот в autopilot

Аудит парсеров 20.08 выявил 8 дыр — все критичные закрыты. Плюс новый источник urlscan.io детектит whitelabel-платформы (SoftSwiss, Playtech, EveryMatrix). Ещё 2 источника в работе.

• данные Новый источник urlscan.io: детекция whitelabel-платформ (SoftSwiss/Playtech/EveryMatrix/BetConstruct/Microgaming/Rush Street/Evolution) по filename-паттернам в сканах. Пилот: 3 из 7 брендов детектированы. Работает без API-ключа через публичный /search/ endpoint.
• фикс DomainHealth snapshot→extra рассинхрон: паспорта показывали данные 24-дневной давности. Патч в saveReport() + batch UPDATE 2040 доменов. Догон запущен.
• фикс Бренд tennisi (id=82): extra было типа 'number', ломало jsonb_object_keys и freshness-скрипты. UPDATE + CHECK constraint не даст повторить.
• данные Autopilot +6 сирот: bonuses (14д), sponsorships (30д), reddit-deep (14д), guru-complaints-deep (21д), askgamblers-deep (21д), public-financials (30д). Раньше эти парсеры бежали неизвестно кем — данные могли молча остановиться.
• скорость Лимиты deep-scan/screenshot/pagespeed подняты с 50-100 до 200. При 2373 брендах цикл 47 дней → 12 дней, покрытие догонится за 2 недели вместо 2 месяцев.
• скорость AutopilotRegistryTest 63 passed: уже поймал 'public-financials --limit=100' (нет такой опции) до деплоя. Ловит регрессы класса 'переименовал команду, забыл в autopilot' — 4 такие ошибки висели в проде 19.08.

Двойное хранилище: sync snapshot→extra для 3 парсеров

Аудит 20.08 нашёл ту же грабля, что была у trust-score: TrustpilotPull/AppStorePull/PlayStorePull пишут только snapshot, extra устаревает на месяцы. API и паспорт бренда читают extra в первую очередь — молча отдавали старые числа. Плюс +6 парсеров в autopilot и guard-тест против такого регресса.

• фикс TrustpilotPull теперь синхронизирует neblask_brands.extra['trustpilot'] после Storage::put — покрытие 645→1294 брендов (+2×), рейтинги свежие сегодня.
• фикс AppStorePull + PlayStorePull теперь синхронизируют extra['appstore']/['playstore'] после snapshot — паспорт бренда перестанет показывать рейтинги 22-дневной давности.
• данные Autopilot +6 задач: support-scan (21д), pagespeed (21д), trustpilot-reviews (14д), geo-scan-extended (30д), social-deep (30д), screenshot-capture (30д). Ранее эти парсеры жили без крон-крышки, данные застряли на 30.07 (~22 дня).
• скорость AutopilotRegistryTest (53 теста): проверяет, что каждая команда из FREE_TASKS/DISCOVERY_TASKS существует и принимает объявленные опции (--limit, --sleep, --force). Ловит регресс из серии «переименовал команду, забыл в autopilot» — 4 такие ошибки висели в проде 19.08.

Крон-крышка для всех парсеров: +22 бесплатных в autopilot

Аудит парсеров 18.08 показал, что 22 бесплатных парсера жили без расписания и данные по ним застряли на 30.07 (19 дней). Все — под крышкой autopilot с интервалами 7-30 дней.

• данные SERP-анализ (1122 бренда), Google Trends (1275), Google News (1421), Casinomeister (1450), Sitejabber, ThePOGG, CasinoListings, Gambling.com (1273), Wizard of Odds (1273), Forum mentions (448), VirusTotal (1171), Safe Browsing (1151), Security extended (1157), DNS-инфра (1412), ScamAdviser (1088), Casino Guru deep, Trustpilot deep, iOS+Android reviews, Affiliate T&C, Homepage deep scan (620), GEO-версии, Organic traffic — все обновляются каждые 7-30 дней.
• скорость Autopilot теперь покрывает 43 бесплатные задачи (было 21) — раскладывает по дневным слотам, чтобы дневной запуск (05:00 UTC) не забивался неделю.
• фикс Новые парсеры на проекте отныне обязаны добавляться в FREE_TASKS+FREE_INTERVALS в Autopilot.php — иначе данные умрут молча, замечено через месяц из freshness-алерта.

Промо-календарь + НеРейтинг + Реструктуризация навигации

Три крупных обновления платформы за 07–10 августа.

• функция /promo — календарь рекламных слотов для 4 Telegram-каналов, 2 слота/канал/день, CRUD с паролем
• функция /nerating — антирейтинг операторов: скреперы жалоб, SimHash-дедупликация, AI-обогащение
• функция Реструктуризация навигации: dropdown Ещё, NeBaza, NeNews, чипы + карточки на главной
• функция CSS-аудит: миграция на build.sh, удаление легаси site.css, CssBuildIntegrityTest
• функция Промо-календарь: прошедшие дни скрыты, список бронирований под сеткой
• фикс Восстановлен sshd после инцидента с frankenphp restart 07.08
• фикс Аудит 10.08: потерянные новости, подделка IP, парсеры — 11 агентов

Навигация и надёжность парсеров

Меню и URL приведены к одной семье, ложные ночные алармы автопилота отключены, паспорт бренда перестал показывать устаревший trust score.

• интерфейс Новости — первым пунктом меню (важнее продуктовых зонтиков).
• интерфейс URL зарплатных отчётов, сравнений и методологии переехали под /nearbihunter/* — одна семья с самими вакансиями. Старые /reports, /comparisons, /methodology (и слаги) отдают 301.
• интерфейс Глоссарий вынесен из меню NeArbiHunter в «Ещё» — это отдельный раздел, не часть вакансий.
• интерфейс В меню «Инструменты» стабильные (NeMail, NeAhrefs, NeConf) отделены линией от альф (NeAntik, NeClip).
• интерфейс «Доска объявлений» убрана из меню — её открывает всегда-видимый боковой виджет, дубликат в меню путал.
• фикс neblask:domain-health больше не даёт ложный «task failed» на 43% ошибок: 401/403/429/451 (Cloudflare-защита от datacenter-IP) не считаются деградацией обхода — домены живы для пользователей, только не пускают наш краулер.
• данные neblask:trust-score теперь self-heal: после снапшота команда батчем синхронизирует neblask_brands.extra['trust_score']. Раньше extra застревал (749 из 1440), и API /brands/{slug} отдавал устаревшие оценки (twin 42 вместо 34, jetton 34 вместо 28).
• скорость Бот @AffPapa_Bot: composer LLM ушёл в очередь intake ещё вчера; сегодня добавлены timeout=85с и failed() — при таймауте пользователю приходит «попробуй ещё раз», не тишина, дублей LLM-запросов нет (85 < retry_after 90).

API Backward Compatibility Restored

• функция Восстановлены 45 сигналов /brands/{slug}, выпавших при рефакторинге 04.08 (serp, google_trends, google_news, trustpilot_deep, askgamblers_deep, reddit_deep, scamadviser, virustotal, crt_sh, wayback, telegram и др.) — те же ключи и поля, что в v9
• функция Итого 72 типа сигналов: 70 из v9 + public_financials + sponsorships
• функция Смоук всех 21 эндпоинта: 200 OK; envelope (source/license/docs/generated_at/data) не менялся
• функция Контрактные тесты: 40 passed (315 assertions)
• функция OpenAPI: описание signals обновлено под полный список

Wave 22: Operator Financials, Sponsorships, RU-Bookmakers Autoupdate

• функция public_financials: выручка/прибыль/штат/тикер операторов из Wikipedia infobox — 38 брендов (Flutter, Entain, Evoke, Kindred, Betsson, DraftKings и др.)
• функция sponsorships: спонсорские связи из Wikipedia-статей брендов — 89 брендов (клубы, лиги, персоны с контекстом)
• функция neblask:ru-bookmakers: автообновление раздела «Легальные БК России» (vredbuk NUXT_DATA) — еженедельно
• функция Паспорт бренда: 2 новые секции — «Финансы оператора» и «Спонсорство» (итого 28)
• функция API: восстановлены affiliate_rankings и brand_bidding после рефакторинга + добавлены public_financials и sponsorships
• функция Scheduler: +3 команды (ru-bookmakers weekly, public-financials/sponsorships monthly)

Раздел «Легальные букмекеры России»

• функция Новая страница /neblask/bookmakers: единственный сегмент рынка РФ с открытой отчётностью
• функция Финансы 16 операторов за 2022-2025: выручка, доля рынка, прибыль, GGR %, динамика
• функция Рыночные показатели: целевые отчисления на спорт и комиссии ЕЦУПИС по годам
• функция Спонсорские портфели 10 БК: 158 контрактов с разбивкой по видам спорта, нейминг-сделки
• функция Амбассадоры 18 БК: 372 персоны с аудиторией по платформам
• функция Партнёрские программы 16 БК: CPA, RevShare, гибрид, admin fee, источники трафика
• функция Сводная матрица позиций в 8 независимых рейтингах (Спортс, РБ, Legalbet, Metaratings и др.)
• функция Пункт «БК России» в навигации NeBlask

Wave 20: Affiliate Rankings, Brand Bidding, Affiliate Network Mapping

• функция Affiliate Rankings: composite score from 12 rating sources (AskGamblers, Trustpilot, Casinomeister, ThePogg, etc.), normalized to 0-10 scale — 661 brands enriched
• функция Brand Bidding: SERP analysis identifying affiliates and competitor operators ranking for brand keywords — 1054 brands analyzed
• функция Affiliate Network Mapping: cross-reference of which affiliates promote which brands, top affiliates by coverage (Trustpilot 1004, AskGamblers 672, Casino.Guru 308)
• функция Frontend: 2 new passport sections — horizontal bar chart for aggregator ratings, affiliate SERP presence list
• функция API: affiliate_rankings and brand_bidding signals added (66 total mappings)
• функция Total passport sections: 26 (was 24)

Wave 19: Mass Enrichment Sprint + API v9

• функция Mass parallel parsing: 28 parsers running simultaneously on ScrapFly sleep=0-1
• функция Signal coverage: 5 signals at 99%+, 12 at 80%+, 26 at 50-90%
• функция API v9: added geo_extended, wizardofodds, social, crt_sh signals (64 total mappings)
• функция Trust Score recalculated for all 1,276 brands after enrichment
• функция Materialized views refreshed (1,275 brand summaries, 61 country summaries)
• функция Killed expensive parsers (geo-scan, geo-scan-extended, site-crawl) to conserve credits
• функция Cleaned corrupted numeric JSONB keys from 2 brands
• функция Data growth: 43,414 signal records (+6,861 since v6.1.0), 34.0 avg signals/brand
• функция ScrapFly: 881K/1M credits used, 119K remaining

Wave 13: Maximum Enrichment

13 новых типов сигналов (33→46), 15 парсеров параллельно, ScrapFly 1M план

• функция ScamAdviser trust score 0-100 с highlights (ScrapFly JS+ASP)
• функция Trustpilot Reviews — отзывы + AI-категоризация настроений
• функция Google Safe Browsing — проверка безопасности домена (бесплатный API)
• функция VirusTotal/OTX — репутация, малвэр, pulse count (ScrapFly 1кр)
• функция Security Extended — HSTS preload, CAA, security headers score, cookies
• функция Bonuses — welcome bonus, free spins, wagering, промо-акции
• функция Deep Scan — languages, live_chat, structured_data, content_depth, tech_stack, affiliate_program
• функция PageSpeed — Core Web Vitals (Performance, Accessibility, Best Practices)
• данные 45 типов сигналов, 20 900+ записей (было 33/14 764)
• данные guru_games 234→775 (100%), organic 338→764, dns_infra 422→729
• интерфейс ScamAdviser card, Security dashboard, Bonuses, PageSpeed ring charts, Site Profile
• API API v5 — все 13 новых сигналов в brand response

Wave 12: Verification & Documentation Sync

Верификация данных после Wave 11, обновление llms.txt (10→23 регулятора), синхронизация документации и memory

• данные Бренды 775→776 (+1 после верификации)
• данные Подтверждено 23 регулятора в реестре лицензий (было указано 10 в llms.txt)
• данные 14 764 сигнальных записи по 33 типам — все верифицированы
• фикс llms.txt: обновлён список регуляторов 10→23 (UKGC, MGA, GGL, PAGCOR, AGCO, ANJ, SRIJ и др.)
• фикс Документация API и changelog синхронизированы с актуальным состоянием БД
• контент Карта проекта и memory-файлы обновлены актуальными цифрами

Wave 11: Data Enrichment & New Sources

4 новых источника данных, 100% RTP coverage, консолидация провайдеров, 15 скраперов в LicensesPull, 27+ фиксов дизайн-системы

• данные 4 новых источника: DNS Infrastructure (MX/SPF/DMARC), Wayback Machine age, Telegram channels, Responsible Gambling certs
• данные 737 игр без RTP → 0: все 8482 игры с RTP (100% coverage)
• данные 4 дубля провайдеров объединены (128→124)
• данные 52 провайдера получили метаданные (website, founded, HQ)
• данные 67 игр исправлен kind (slot→live/table)
• данные +64 лицензии (356→420), +47 брендов с лицензиями
• данные Новый скрапер Gibraltar (gc-gi), 13 лицензий
• данные 15 скраперов подключены к LicensesPull (было 6)
• данные +7 ground truth строк (Колумбия, Бразилия, Нигерия, Кения, ЮАР, Филиппины, Румыния)
• данные 93 новых немецких бренда обогащены
• фикс 3 SQL injection исправлены (trending, Momentum, ComplaintsPull)
• фикс 9 дублей scheduler×autopilot убраны
• фикс OOM 128MB в MarketData.php исправлен
• фикс Alpine.js поиск на /brands исправлен (input вне x-data)
• интерфейс 27+ фиксов дизайн-системы «Лента» (цветовая семантика, JetBrains Mono, hover)
• stats Итого: 775 брендов, 8482 игры (100% RTP), 124 провайдера, 420 лицензий, 33 типа сигналов, 65 artisan-команд

Wave 8: API Expansion + Data Quality Blitz

6 новых API endpoints, расширенные signals, массовый синк данных, Trust Score v2.0 пересчёт, UI-полировка

• API 6 новых endpoints: /trust-scores, /compare, /games/{slug}, /providers/{slug}, /trending, расширенный /brands/{slug}
• API Расширенные signals в brand card: payment_methods, descriptions (en/ru), social, wikipedia, reddit, observatory, tranco, urlhaus, casinoorg, kick, domain_health
• API Домены с полными данными: whois, backlinks, health, dns
• данные Meta Ads 114→598 брендов с рекламными данными
• данные AppStore/PlayStore→683 брендов, Trustpilot→683 брендов
• данные Wikipedia 445→601, Homepage scrape 395→538, Monthly demand 234→654 стран-брендов
• данные CrUX performance data 11K→74K записей
• данные Wallets добавлены для 6 крипто-брендов (Stake, BC.Game и др.)
• данные Twitch/Kick данные синхронизированы
• функция Games: +946 игр (8482 total), +1299 RTP (7745 total), 11/12 пустых провайдеров заполнены
• функция Pragmatic Solutions классифицирован как platform (не game provider)
• функция Trust Score v2.0 пересчёт с полными данными, transparency component работает
• интерфейс Trust Score v2.0 визуализация: 6 компонентов (scale, regulatory, reputation, transparency, infrastructure, digital_presence)
• интерфейс Соцсети X/Instagram/Facebook/LinkedIn в карточке бренда
• интерфейс Кошельки отображаются зелёным моно (JetBrains Mono)
• фикс 3 API-бага починены (null responses, missing fields, incorrect sorting)
• фикс Мусорные not_found записи скрыты из API-ответов
• фикс Scheduler дополнен недостающими задачами
• фикс Sponsor-flush механизм восстановлен
• контент llms.txt обновлён на formula 2.0
• API OpenAPI спецификация расширена на все новые endpoints

Wave 7.1: Transparency + DataForSEO + Mop-up

Transparency component implemented, DataForSEO enrichment, free scraper retries

• функция Trust Score Transparency component: 8 сигналов, avg 5.61/15 (было ~0)
• данные Organic traffic 44.8%→53% via DataForSEO
• данные Backlinks 45.5%→49.3% via DataForSEO (ещё растёт)
• данные Social 84%→96.8% — social-pull retry для оставшихся
• данные Reddit 88%→94.6% — полный рефреш 683 брендов
• данные Casino Guru 64.1%→66.9% — retry 300 брендов
• данные AI English 37.9%→42.2% (воркеры продолжают)
• данные Meta Ads полный прогон запущен (600 брендов)
• данные BrandMetaScraper social links: IG 41, FB 28, TW 28, TG 33, YT 16, LI 13
• данные Data Freshness: все 24 источника OK
• скорость MV refreshed после всех обновлений

Wave 7: Data Completeness + Quality Polish

Синхронизация snapshot→extra, аудит качества данных, фиксы матчеров, социальные ссылки из HTML

• данные Snapshot→extra sync: Trust Score, AppStore, PlayStore, Meta Ads, Kick, Domain Health теперь в API
• данные Trust Score 0%→97.1% — пересчёт v2.0 + полная синхронизация в brand extra
• данные AppStore/PlayStore 0%→92.5%/92.7% — 17 iOS + 71 Android приложений
• фикс CasinoOrg matcher: 26.8%→77.7% — переработан алгоритм сопоставления
• данные Wikipedia 46.9%→70.9% — массовый re-run Wikipedia API
• функция BrandMetaScraper: парсинг social-ссылок (FB/IG/TW/YT/TG/LinkedIn) из HTML
• данные YouTube data merge: unified extra→youtube + social→youtube (134 бренда)
• данные Twitter handles extracted from homepage meta-tags (24 бренда)
• данные Domain Health synced to 710 domains в extra
• фикс Tennisi: восстановлен повреждённый extra=0, обогащён из snapshots
• данные Data quality audit: 0 orphans, 0 dupes, 0 broken FK
• данные AskGamblers retry для улучшения покрытия
• данные brand-meta --force с социальным парсером (400 доменов)
• скорость Materialized views refreshed после всех data syncs
• данные AI English enrichment 23.7%→35%+ (2 воркера продолжают)
• данные crt.sh 29.1%→31.2% (воркер продолжает)

Wave 6: Full Coverage + Infrastructure + GEO

Trust Score v2, MV+FTS, GEO-оптимизация, 30+ источников на 90%+ покрытии, полный аудит данных

• данные Payment Methods — 684/684 (100%), полное покрытие
• данные Organic Traffic — 170→571 (83.5%), DataForSEO $2.94
• данные Social Pull — 239+ YouTube-каналов, квота YouTube guard
• данные Tranco Rank обновлён — 248→326 (потолок top-1M)
• данные AskGamblers обновлён — 177→214
• данные AI Enrichment English — 684 брендов, 2 воркера, Claude Sonnet 5
• данные Ground Truth — 59→108 строк, 25 рынков, brand revenues
• функция Trust Score v2.0 — новый компонент digital_presence (WHOIS, DNS, Apps, payments)
• функция Калибровка 54/54 стран — 0 uncalibrated, tier 1/2/3 по данным
• скорость Materialized Views — brand_summary + country_summary, hourly refresh
• скорость Full-Text Search — tsvector + GIN + trigger автообновление
• функция Data Freshness — мониторинг 24 источников, daily Telegram alert
• функция GEO — llms.txt по стандарту, JSON-LD на brand/hub/country/report pages
• функция Citation meta + Dublin Core на всех страницах для AI-цитируемости
• функция Speakable schema на отчётах (Google AI voice)
• фикс Аудит данных — 8 дублей провайдеров merged, 1 дубль бренда merged
• фикс 30 просроченных лицензий status active→expired
• фикс Kick.com API переписан под новые эндпоинты
• фикс MetaAdLibraryClient env()→config() для кешированного конфига
• функция Autopilot в scheduler — ежедневно 05:00 UTC

Wave 5: Full Coverage + Trust Intelligence

Trust Score 684 брендов, WHOIS/DNS, Kick.com/Twitch, App Store/Play Store, 30+ источников данных

• функция Trust Score — scoring-модель для 684 брендов (A/B/C/D/F грейды)
• интерфейс Trust Score badge в паспорте бренда — круг с грейдом, tooltip с компонентами
• интерфейс Sparkline тренда спроса интегрирован в паспорт бренда
• данные WHOIS age — возраст домена для 684 брендов
• данные DNS info — NS/A/CDN записи для 710 доменов (100%)
• данные App Store — поиск iOS-приложений для 684 брендов
• данные Play Store — поиск Android-приложений для 684 брендов
• данные Kick.com — стримы slots/casino (184 стрима, 26K+ зрителей, API переписан)
• данные Twitch — стримы slots/casino (64 стрима, 13K+ зрителей)
• данные Payment Methods — массовый сбор для 684 брендов (GPT-5.4-mini)
• данные Social Pull — 135+ YouTube-каналов, TG-ссылки
• данные Brand Meta — homepage meta до 684 (100%)
• данные crt.sh — SSL-сертификаты добиты до 684 брендов
• данные Meta Ads Library — рекламные креативы брендов
• фикс Kick.com API — переписан под новые эндпоинты (старые 404)
• фикс MetaAdLibraryClient — env() → config() для совместимости с кешем
• функция Autopilot в cron — ежедневный запуск в 05:00 UTC
• интерфейс Payment Methods секция на странице бренда
• интерфейс Social Links секция (YouTube + Telegram) на странице бренда
• интерфейс Mobile Apps badges (App Store + Play Store) на странице бренда

Wave 4: Infrastructure + Data Pipeline

GIN-индексы, Redis-кеш x23, тренды, платёжные методы, соцсети, sparkline

• скорость GIN-индексы на 4 jsonb-таблицы (neblask_brands, domains, games)
• скорость Redis-кеш паспортов — x23 ускорение (1036ms → 45ms)
• данные Monthly snapshots — 684 бренда, cron каждые 30 дней
• данные AGCC Alderney — 22-й регулятор, 22 лицензии
• данные Payment Methods pipeline (GPT-5.4-mini) — методы оплаты брендов
• данные Social Pull — YouTube + Telegram каналы брендов
• интерфейс Sparkline-компонент тренда спроса (SVG 120x32)
• фикс CORS API — config/cors.php вместо ручных заголовков
• фикс TempMail throttle 10/min, Web routes throttle 120/min
• функция QueueHealthCheck — мониторинг очередей каждые 5 мин + Telegram-алерты
• функция Scheduler heartbeat + withoutOverlapping на neblask:index
• фикс FreemodelClient fallback на CloseRouter при недоступности freemodel.dev

Wave 3: Полное покрытие — 41 регулятор, 26 источников, AI-описания

Третья волна расширения: 10 новых регуляторов, бесплатные API безопасности (crt.sh, Mozilla Observatory, URLhaus), интеграция slot.report (5598 слотов), AI-обогащение описаний брендов через Claude Sonnet 5.

• данные Новые регуляторы: Coljuegos (CO), HGC (GR), GC-BE (BE), GCC (LT), TMA-EE (EE), SRIJ (PT), DGOJ (ES) + KSA (NL), NJDGE (NJ), PGCB (PA) — итого 41 регулятор
• данные crt.sh — Certificate Transparency: верификация SSL-сертификатов доменов казино
• данные Mozilla Observatory — автоматический security grade (A+ до F) для каждого домена
• данные URLhaus — проверка доменов на малварь и фишинг в реальном времени
• данные slot.report — интеграция каталога 5 598 слотов от 83+ провайдеров
• функция AI-обогащение: автоматические SEO-описания брендов через Claude Sonnet 5
• функция Trust Score v2: пересчёт с учётом security grade, SSL и malware-check
• API Открытые фиды лицензий: /neblask/licenses.json и /neblask/licenses.csv (CC BY 4.0)
• скорость 26 бесплатных источников данных — бюджет DataForSEO оптимизирован до ~$10/мес

Mega Data Expansion: 684 бренда, 2115 игр, Open API, 15 источников

Крупнейшее обновление NeBlask: утроение базы брендов и игр, 12 регуляторов с публичными реестрами, 65 стран, открытый REST API для AI-агентов, 15 интегрированных источников данных.

• данные Бренды 234 → 684 (x2.9): Casino.guru каталог, AffPapa компании, DFS SERP domain discovery
• данные Игры 902 → 2 115 (x2.3): SlotCatalog парсинг, 83 провайдера (+29 новых: PG Soft, JILI, CQ9, Spadegaming и др.)
• данные Регуляторы 6 → 12: MGA (Playwright DOM-харвест), KGC, GSC Isle of Man, PAGCOR (PDF), GGL, ONJN — 243 лицензии привязаны
• данные Страны 53 → 65: +12 гео (RU, AE, HU, RS, IL, SA, EG, MA, ID, MY, SG, TW), 270K ключевых слов (+11 языков)
• данные Ground Truth: 59 записей GGR регуляторов, корреляция SoD vs GGR Pearson r=0.84
• данные Новые сигналы: Trustpilot (652), Reddit (603), Wikipedia (320), Tranco (248), YouTube (127), whois (389 доменов), DNS (320), CrUX, Twitch, крипто-кошельки
• функция Open REST API v1: 13 эндпоинтов без авторизации, OpenAPI 3.1 spec, CORS, rate-limit 120 req/min, пагинация, фильтры
• функция Эндпоинт /trending: top-20 растущих брендов с change_pct за месяц
• функция Trust Score v2: пересчёт по 684 брендам с учётом всех новых сигналов (avg 17.8, top NetBet 68)
• интерфейс Quick Stats Bar: счётчики брендов/игр/стран/регуляторов на главной NeBlask
• интерфейс Trending Movers Widget: top-5 растущих брендов с процентом роста
• интерфейс Live Search: клиентский поиск брендов на Alpine.js
• API llms.txt обновлён для 13 AI-ботов, robots.txt Allow /api/neblask/, Schema.org WebAPI JSON-LD
• скорость Cron-ревизия: 46 задач, бюджет DataForSEO ~$9.9/мес (было бы $250/мес без оптимизации)
• фикс Trustpilot: данные писались в snapshot, не в extra — починено + бэкфил 250 брендов
• фикс HeadlessFetcher: env(SCRAPFLY_KEY) не работал с config:cache — переведено на config()

API-каталог каналов + медиаплан-калькулятор

Каталог TG-каналов переведён на API tg.observer с автосинхронизацией каждые 15 минут. Медиаплан-калькулятор с выбором каналов, расчётом бюджета и экспортом CSV.

• функция Медиаплан-калькулятор: чекбоксы, sticky bar с суммой охвата/цены/CPM, экспорт CSV
• данные Каталог каналов через API tg.observer (380 каналов, автосинхронизация 15 мин)
• фикс NeAgent: счётчики анимации (x-intersect → x-init, Alpine без Intersect)
• фикс Методология: текст на полную ширину контейнера (было 720px)
• фикс Changelog: нормализация данных (строки → объекты, дефолты для title)
• интерфейс Страновые пилюли: горизонтальный скролл вместо переноса строк
• интерфейс Таблица каналов: исправлен мобильный вид (правильные nth-child после чекбоксов)
• скорость API-клиент tg.observer: ETag/304, rate limit 4 req/s, Retry-After

SEO Intelligence + Game Catalog Refresh

Пульс-дашборд рынка iGaming + обновление каталога игр

• функция Brand Radar — дашборд пульса рынка
• данные Game Catalog: +388 новых игр от 22 провайдеров
• фикс CasinoGuruScraper: новая URL-структура casino.guru
• фикс HeadlessFetcher: fix userAgent bug

SEO Intelligence: тренды, возможности, Game Radar

Три новых аналитических раздела NeBlask: кросс-страновые тренды роста, SEO-возможности и лента релизов слотов.

• функция /neblask/trends — кросс-GEO тренды роста: TOP-50 брендов по динамике за 2-6 мес
• функция /neblask/opportunities — SEO-возможности: бренды без Trustpilot/AppStore/PlayStore
• функция /neblask/radar — Game Radar: лента 505 слотов с RTP, волатильностью, фильтр по провайдерам
• интерфейс TOP-5 Growing Markets виджет на странице бренда — рынки с макс. ростом MoM
• фикс Исправлен матчинг Trustpilot/AppStore/PlayStore (JSON по slug, не по имени)
• интерфейс Навигация: Тренды, Возможности, Radar добавлены во все 20 NeBlask-страниц

Mega Data Expansion

50 стран, 105K ключей, 234 бренда, 23 отчёта, YouTube + Trustpilot + AppStore обогащение

• данные 15→50 стран с clickstream данными
• данные 27K→105K ключевых слов (25 языков)
• данные Все 234 бренда с clickstream
• данные YouTube каналы: 21 бренд найден
• данные Trustpilot: 108 брендов
• данные PlayStore 22 + AppStore 52 бренда
• данные Trust Score v1.2 пересчитан (avg 27.7)
• контент 15 новых страновых отчётов
• интерфейс COUNTRY_ORDER 15→52 стран в UI
• данные KeywordBuilder: de_at/de_ch/lv/et модификаторы
• данные Meta Ads Library: 86 брендов

50 рынков · 275K сигналов · 199 лицензий

Массовое расширение данных: clickstream 50 стран, 234/234 брендов, 199 лицензий, 105K ключей

• данные Clickstream по 50 странам (было 15): SE, NL, RO, AU, FR, TR, BE, PT, FI, GR, CZ, AT, CH, IE, BG, HR, UA, JP, KR, TH, VN, NG, KE, ZA, GH, LT, LV, EE, MT, CL, NZ, PE, UY, PA, CR
• данные 105K ключевых слов (было 27K): 25 языков, 4 новых (немецкий, латышский, эстонский)
• данные 199 лицензий (было 53): полный прогон 7 регуляторов (UKGC, MGA, DGA, SGA, KSA, ADM, ANJ)
• данные 234/234 брендов с clickstream-данными (было 86/234)
• фикс Починка double-encoded aliases у 86 брендов
• скорость Trust Score v2: средний балл 27 (было 13.5)

Пагинация каталога игр + мобильная полировка

Каталог игр: 50 на страницу вместо 505, серверная фильтрация по типу, мобильная оптимизация.

• скорость Пагинация каталога игр: 50 на страницу (было 505), DOM 696 вместо 4813 элементов
• функция Серверная фильтрация по типу (Все/Слоты/Live) через ?kind=
• интерфейс Active-состояние карточек (scale 0.97), hover только для pointer: fine
• интерфейс Мобильная проверка: все страницы без горизонтального переполнения

Расширение каталога: 234 бренда, 53 страны, 505 игр

+86 операторов, +26 стран, +30 провайдеров, +300 игр, 13 новых языков.

• данные Каталог брендов: 148 → 234 (Турция, Балканы, ЛатАм, Африка, крипто, Азия)
• данные Страны: 27 → 53 (Финляндия, Норвегия, Чехия, Греция, Грузия, Украина, Япония и др.)
• данные Провайдеры игр: 24 → 54 (Betsoft, Spribe, BGaming, Evoplay, Habanero, IGT и др.)
• данные Каталог игр: 205 → 505 (crash-игры, live-казино, 300+ слотов)
• функция KeywordBuilder: 13 новых языков (fi, no, cs, el, bg, hr, lt, tr, ja, ko, th, vi, uk)
• интерфейс Сравнительная таблица: обновлены числа (230+ брендов, 53 страны)

YouTube Data API: каналы брендов

Автоматический поиск и мониторинг YouTube-каналов брендов казино.

• данные YouTube Data API v3: автоматический поиск каналов брендов (68 найдено)
• интерфейс YouTube виджет на странице бренда: подписчики, просмотры, видео
• данные brands.json seed: добавлено поле youtube (channel, subscribers, views, videos)
• функция Cron: еженедельное обновление YouTube stats
• данные Лидеры: Sportingbet 2.6M, Bet9ja 1.5M, Superbet 836K подписчиков

Рейтинги AskGamblers + Casino.org

Парсинг рейтингов с обзорных сайтов + виджет на странице бренда.

• данные AskGamblers CasinoRank: 47 брендов (ScrapFly + smart slug matching)
• данные Casino.org Expert Rating: 6 брендов (US-market, HeadlessFetcher)
• интерфейс Виджет «Рейтинги обзорных сайтов» с progress bar на странице бренда
• API brands.json seed: добавлено поле reviews (askgamblers, casinoorg)
• фикс False positive матчинг убран (goldbet≠Golden Nugget, starcasino≠PlayStar)

Инфраструктурный виджет + 3 новых парсера лицензий

Возраст домена, CDN, хостинг, ранг, бэклинки на странице бренда + GGL/ONJN/CGA парсеры.

• функция Виджет «Инфраструктура»: возраст домена, CDN/хостинг, ранг и бэклинки
• API brands.json seed: добавлено поле infrastructure
• функция neblask:askgamblers — рейтинги AskGamblers (API + ScrapFly fallback)
• функция neblask:casinoorg — рейтинги Casino.org через ScrapFly
• данные GGL (Германия), ONJN (Румыния), CGA (Кюрасао) — 3 новых парсера лицензий
• фикс Выбор основного домена: предпочитается .com, затем по наивысшему рангу

Whois, DNS-разведка, Domain Rank

Возраст доменов, определение CDN/хостинга, ранг и бэклинки через DataForSEO.

• функция neblask:whois-age — возраст доменов через системный whois (121 домен)
• функция neblask:dns-info — DNS-разведка: NS/A/CNAME + определение CDN и хостинга
• данные neblask:domain-rank — ранг, бэклинки через DataForSEO Backlinks Summary
• функция Cron: 3 новые задачи (whois monthly, DNS monthly, domain-rank weekly)
• фикс Meta Ads лимит 86→148 в cron schedule
• фикс WhoisAge: исправлен отрицательный возраст (Carbon 3 signed diffInDays)

NeAntik, Blask-спонсор, сортировка брендов, Alpine.js, 3 новых отчёта

• функция /neantik: раздел антидетект-браузера NeVision — сравнение с 5 платформами, A→B→A fingerprint check, changelog 4 версий
• функция Система спонсоров: Blask = gold sponsor с промокодом NEBLASK1, авто-протухание, клик-трекинг (beacon + Redis), Schema.org SpecialAnnouncement
• функция /neblask/sponsor-stats: дашборд спонсоров с basic auth и CSV-экспортом
• функция /necard: лендинг платёжных карт для аффилиатов — квалификация $300k+, сравнение 4 таблицами
• функция /neagent: агентские рекламные аккаунты FB/Google/TikTok — сравнение 5 провайдеров, форма заявок
• интерфейс Сортировка брендов по столбцам (SoI / BAP / TG / лицензии) — Alpine.js sortable
• фикс Alpine.js self-hosted: Alpine не был подключён, таблицы не работали
• фикс Changelog data fix: 29 строковых записей → типизированные объекты {type, text}, удалён дубль v1.9.0
• контент 3 новых отчёта: Mexico, Argentina, India (country reports)
• API OG-изображения: динамические og:image для брендов и стран
• данные JSON-LD fix: @context → Blade-safe через @php блоки (Laravel 13 совместимость)
• интерфейс Навигация: все 6 Ne-продуктов в основном меню (убраны «скоро» бейджи у NeCard/NeAgent), очищены 4 конфликтующих CSS-override, dropdown «Ещё» для вторичных ссылок
• данные Trustpilot: автоматический скрапер рейтингов 86 брендов через ScrapFly + виджет с распределением звёзд на странице бренда
• данные Domain Health: автоматическая проверка SSL-сертификатов + HTTP-статуса 121 домена с виджетом на странице бренда
• infra ScrapFly API key вынесен из env() в config/services.php (production-safe с кэшем конфига)
• infra Cron: neblask:trustpilot (пт 05:00) + neblask:domain-health (пн 06:00)
• функция Trust Score: композитный рейтинг доверия 0-100 (лицензии, Trustpilot, SSL, кошельки, масштаб) с виджетом на странице бренда
• фикс Storage path fix: убрана дубликация private/ в путях DomainHealth, TrustpilotPull и контроллере
• функция App Store: рейтинги iOS-приложений через iTunes Search API (бесплатно, без ключа) с виджетом на странице бренда
• функция Trust Score на витрине брендов: колонка с сортировкой + Trust Score в brands.json фид
• improvement Trust Score v1.1: App Store рейтинг iOS-приложения как буст репутации (+3 за ≥4.5, +2 за ≥4.0, +1 за ≥3.0)
• функция brands.json: добавлены поля app_store (rating, rating_count, app_name) и trust_score
• функция Google Play: рейтинги Android-приложений через ScrapFly + виджет на странице бренда
• improvement Trust Score v1.2: Play Store рейтинг как дополнительный буст репутации (+2 за ≥4.5, +1 за ≥4.0)
• функция Колонка GP (Google Play) в таблице /brands — сортируемый рейтинг Android-приложений
• improvement brands.json фид v6: добавлены play_store, trustpilot и domain_health данные
• функция Сравнительная таблица «Почему NeBlask» — NeBlask vs Blask vs H2 GC vs SimilarWeb на странице страны
• фикс Movers: имена брендов теперь полностью видны на мобильных и узких экранах
• функция Методология: описание NeBlask Index и концепции OTSoS (Overall Transparency Share of Search)
• функция Сравнительная таблица «Почему NeBlask» — полный редизайн: карточная обёртка, группы по категориям, зелёные чекмарки, бейдж «Бесплатно», sticky-колонка на мобиле, hover-состояния
• функция Каталог брендов расширен: 86 → 148 операторов (+62 новых бренда)
• функция Каталог провайдеров: 8 → 24 студии (+16 новых)
• функция Каталог игр: 26 → 205 слотов и live-игр (+179 новых)
• функция География: 15 → 27 стран (+12 новых рынков: SE, NL, RO, AU, FR, BE, PT, NG, KE, ZA, CL, NZ)
• фикс Таблица «Почему NeBlask»: фикс CSS specificity для заголовков групп

SEO: sitemap, JSON-LD Dataset, llms.txt; Meta Ads all 86 brands

• API sitemap.xml: 155 NeBlask URL (бренды, страны, игры, провайдеры, отчёты, фиды)
• API llms.txt: секция NeBlask для AI-краулеров
• API JSON-LD Dataset schema (schema.org/Dataset) на каждой странице бренда
• данные Meta Ads: полный прогон всех 86 брендов через ScrapFly — 55 с собственной рекламой
• данные MetaAdsSync: инкрементальная запись снэпшота (crash-safe)
• фикс MetaAdLibraryClient: fix has_own_ads в early return
• функция Карточка «Лидеры Meta Ads» на хабе NeBlask: топ-5 брендов + OWN-бейдж
• интерфейс Колонка Meta Ads на витрине /neblask/brands с числом активных объявлений
• API JSON-LD DataCatalog schema на главной NeBlask для Google Dataset Search
• функция Meta Ads в сравнении брендов (/neblask/compare): строка с числом объявлений + OWN
• API meta_ads в JSON-фиде brands.json: total, has_own_page, platforms

Cron-расписание + humanized platforms

• данные Cron: US licenses sync каждую среду 08:30 MSK
• данные Cron: Meta Ads sync каждый четверг 09:00 MSK (ScrapFly)
• интерфейс UI: AUDIENCE_NETWORK → Audience Network и другие платформы в Meta Ads блоке
• данные Полный прогон Meta Ads по всем 86 брендам каталога

Meta Ad Library live data + Google Ads Transparency

• функция MetaAdLibraryClient переписан на ScrapFly (без Facebook App Review)
• данные Команда neblask:meta-ads:sync — сбор активных реклам по всем брендам
• интерфейс UI: счётчик упоминаний, собственные FB-страницы, платформы на бренде
• функция Exact-phrase поиск — has_own_ads отделяет прямую рекламу от упоминаний
• данные Протестировано: DraftKings 790, FanDuel 1000, BetMGM 1600, bet365 3900

US Licensing + Meta Ad Library client

• интерфейс Панель US Licensing на страницах брендов — показывает лицензии NJ DGE и PA PGCB для 8+ US-брендов
• фикс PgcbScraper: фикс извлечения бренда из multi-prefix доменов (casino.pa.bet365.com → Bet365)
• API Facebook App Secret → .env (Meta Ad Library API ожидает App Review)
• функция FACEBOOK_APP_SECRET в config/services.php
• функция NJ DGE: verified — PDF доступен, authorized sites migrated to njoag.gov

US лицензионные реестры + Meta Ad Library

Скраперы NJ DGE (9 permit holders) и PA PGCB (23 iGaming + 11 sports операторов). Meta Ad Library API клиент.

• функция NJ DGE scraper: 9 iGaming permit holders из публичного PDF
• функция PA PGCB scraper: 23 iGaming + 11 sports wagering операторов
• функция Meta Ad Library API клиент (ждёт FACEBOOK_APP_SECRET)
• API Artisan: neblask:us-licenses:sync --state=nj|pa|all
• скорость poppler-utils (pdftotext) установлен на сервере

Twitch Slots + BTC links + deploy-audit

Twitch-панель на брендах, BTC explorer links, deploy-audit.sh, slug в mentions

• функция Twitch Slots панель на странице бренда (стримы, зрители, brand mentions)
• функция deploy-audit.sh — проверка здоровья сервера в 1 команду
• фикс BTC explorer links → blockstream.info (было etherscan.io для всех)
• фикс BTC chain badge — оранжевый цвет #F7931A
• данные slug в Twitch brand_mentions для надёжного матчинга по бренду

Live-цены CoinGecko + BTC через Blockstream

Балансы крипто-казино теперь считаются по актуальному курсу (CoinGecko, кэш 10 мин). BTC-кошельки через Blockstream Esplora без API-ключа.

• данные CoinGecko Simple Price API — актуальные курсы ETH/BNB/BTC (без ключа, кэш 10 мин)
• данные Blockstream Esplora — BTC-балансы без API-ключа
• данные Stake BTC hot-wallet: 11 036 BTC = $718M (bc1qm34lsc...j77s3h)
• фикс Балансы пересчитаны: ETH был $3800 (hardcode), реальный курс $1884

Twitch Streams + 16 кошельков 6 казино

Twitch API для Slots-стримов. On-Chain расширен: 16 адресов 6 казино, $64M+ tracked.

• данные Twitch Helix API — снимок живых Slots-стримов каждые 2 часа
• функция Поиск упоминаний брендов в заголовках стримов
• данные On-Chain: 16 ETH/BSC кошельков (Stake, BC.Game, Roobet, Rollbit, Duelbits, Shuffle)
• фикс BSC USDT: 18 decimals вместо 6 — правильные балансы
• функция Product changelog: /neblask/changelog + JSON-фид

On-Chain: реальные балансы крипто-казино из блокчейна

Впервые в NeBlask — данные прямо с блокчейна. Публичные hot-wallet балансы крипто-казино в реальном времени. Blask таких данных не показывает.

• данные Etherscan V2 API интегрирован (единый endpoint для ETH/BSC/Polygon)
• функция Новый блок On-Chain на странице бренда: адрес, chain-тег, баланс USD, ссылка на explorer
• данные Первый live-показатель: Stake.com hot-wallet = $16 000 435 (3607 ETH + 2.29M USDT)
• скорость Автообновление каждые 6 часов, 5 req/s throttle
• фикс Совместимость @php short-syntax с PHP 8.5 и Livewire compiler

Догоняем Blask по формулам, обгоняем по фичам

Полный набор Blask-эквивалентных метрик (BAP, SoI, Market Explanation) плюс наши уникальные преимущества: Ad Intelligence и Integrated Demand с TG-сигналами.

• функция BAP (Brand Accumulated Power): формула 0.60·SoS + 0.25·growth + 0.15·retention
• данные SoI (Share of Interest) для 26 seed игр × 15 стран через DataForSEO Clickstream, $2.52 total
• функция Market Explanation MVP: авто-блок «что случилось» из новых лицензий + moверов
• функция Ad Intelligence-панель: кросс-ссылки на Meta Ad Library / Google Ads Transparency / Similarweb
• функция Predictive 30-day forecast (linear OLS на last-6-mo) с delta% MoM
• функция Integrated Demand: интеграция с NeTGStat (382 TG-канала) — уникальный сигнал

Конфиг-driven отчёты + Heatmap + Regulator recent-delta

Отраслевые отчёты стали шаблонизированными — новый рынок = запись в config. Плюс тепловая карта рынков и changelog регуляторов.

• контент Отчёты Italy, UK, Germany, Sweden (в дополнение к Бразилии)
• функция Heatmap стран × брендов на /neblask/heatmap
• функция Regulator changelog: прирост лицензий за 7/30 дней

v1.0 методологии — стабилизация

Первый стабильный релиз методологии по SemVer. Historical snapshots для настоящего time-series, сравнение брендов, встраиваемый виджет.

• функция Compare-page: 2-3 бренда рядом на одном графике /neblask/compare
• данные Historical snapshots — gzipped NDJSON каждый понедельник
• функция Country movers-блок на странице страны (top-3 растущих/падающих)
• функция Widget-embed для внешних сайтов: iframe с индексом страны
• контент Sweden report — второй контент-магнит
• контент Version tag методологии v1.0.0 + changelog

Хаб брендов, movers на главной, публичные фиды

Расширяем витрины: топ-brands, movers-блок «кто вырос/упал», открытые фиды под CC BY 4.0. Первый отраслевой отчёт по Бразилии.

• функция Overlay-сравнение брендов на графике страны
• функция Movers/Trending блок на /neblask
• API Публичные seed-эндпоинты: brands.json, regulators.json
• функция Витрина провайдеров игр
• контент Первый отраслевой отчёт: /neblask/reports/brazil-2026-07

ScrapFly как fallback, +5 стран, Stakelogic fix

Антибот-защита через ScrapFly как второй уровень fallback. Расширили покрытие до 15 стран.

• фикс Stakelogic не путается со Stake в LicenseMatcher (word-boundary + blocklist)
• данные +5 новых стран: MX, DE, CO, PH, AR
• данные ScrapFly как второй fallback в HeadlessFetcher (CF-bypass)

Живые лицензии — 6 регуляторов онлайн

Настоящие данные из реестров: UKGC, MGA, DGA, ADM, AGCO, ANJ, SGA. Матчинг брендов с реальными лицензиями.

• данные UKGC — CSV-дампы регулятора через headless-браузер
• данные MGA (Angular SPA) — вытащен через DOM после render
• данные SGA — живьём через JSON API + улучшен матчер
• данные +4 регулятора: DGA, ADM, AGCO, ANJ через forceHeadless
• данные Каталог провайдеров игр из SlotCatalog + Casino Guru

Фундамент лицензий и каталог игр

Первый большой этап данных: schema для лицензий, скраперы регуляторов, каталог iGaming-игр.

• данные Схема brand_licenses + модель BrandLicense
• данные Базовый класс LicenseScraper + Artisan-команда neblask:licenses
• функция Виджет «Лицензии» на странице бренда
• API Открытый фид licenses.json + CSV
• данные Каталог iGaming-игр: провайдеры, игры, key-запросы
• функция Страницы /neblask/games (топ) и /neblask/game/{slug}

Blask-подобный интерфейс

Полная переверстка UI под Blask-стиль: хаб стран, страница страны с графиком и брендами, витрины методологии.

• интерфейс Хаб стран, страница страны, витрина всех брендов
• интерфейс Интерактивные графики — hover/touch тултип со значениями
• интерфейс Единый nb-shell для страницы бренда и методологии
• контент Блок спонсоров + манифест открытости
• контент Витрина /neblask/markets — карточки стран с регулятором и типом рынка
• контент Карта 41 регулятора + hero-блок NeBlask на главной

Первый пуск NeBlask

Проект стартует: аналитика спроса на iGaming, открытая и бесплатная. Blask.com — B2B за €300+/мес, мы — CC BY 4.0.

• функция Первый прототип индекса спроса
• данные DataForSEO Clickstream API — источник поисковых сигналов
• контент Опубликована методология с SemVer-версионированием