diff --git a/README.md b/README.md index a017bc7..a517a2d 100644 --- a/README.md +++ b/README.md @@ -21,7 +21,7 @@ pnpm dev ## Частота запросов -Материалы проверяются последовательно. Между запросами к одному хосту выдерживается 3–4 секунды, включая каталоги, курсы и перенаправления. Ограничение общее для API и worker и сохраняется в PostgreSQL. После HTTP429/503 действует пауза из `Retry-After` (не менее минуты, не более суток), после HTTP403 — пять минут. Повторных попыток в цикле нет. Ссылки, пропущенные во время паузы, отмечаются как ограниченные с датой окончания паузы; это не подтверждает, что материал удалён. Их можно обновить последующей полной проверкой. Паузы снижают нагрузку, но не гарантируют отсутствие блокировки со стороны сайта. +Материалы проверяются последовательно. Между запросами к одному хосту выдерживается 3–4 секунды, включая каталоги, курсы и перенаправления. Ограничение общее для API и worker и сохраняется в PostgreSQL. После HTTP429/503 действует пауза из `Retry-After` (не менее минуты), после HTTP403 — пять минут. Повторных попыток в цикле нет. Ссылки, пропущенные во время паузы, отмечаются как ограниченные с датой окончания паузы; это не подтверждает, что материал удалён. Их можно обновить последующей полной проверкой. Общий таймаут загрузки с перенаправлениями — 30 секунд, включая паузы. Паузы снижают нагрузку, но не гарантируют отсутствие блокировки со стороны сайта. ## Расписание diff --git a/lib/checker.ts b/lib/checker.ts index 3d43fa4..773d73d 100644 --- a/lib/checker.ts +++ b/lib/checker.ts @@ -45,7 +45,8 @@ export async function resolvePublicHost(host:string){ export async function retrieve(raw:string,source=false){ let url=safeUrl(raw);if(!url)throw new Error('Адрес не разрешён политикой безопасности'); await waitForHost(new URL(url).hostname); - const controller=new AbortController(),timer=setTimeout(()=>controller.abort(),12000); + // Four redirects can add up to 16 seconds of intentional host pacing. + const controller=new AbortController(),timer=setTimeout(()=>controller.abort(),30000); const aborted=new Promise((_,reject)=>controller.signal.addEventListener('abort',()=>reject(new DOMException('Истекло время ожидания','AbortError')),{once:true})); try{ for(let hop=0;hop<5;hop++){ @@ -102,4 +103,4 @@ if(document.querySelector('input[type="password"]')&&text.length<10000)return {. if(/(для (?:чтения|доступа|просмотра).{0,80}(?:авториз|войд|подписк)|(?:авторизуйтесь|войдите).{0,80}(?:чита|доступ|просмотр)|sign in to (?:read|access|view)|purchase (?:this|access)|institutional access|доступ (?:к полному тексту|по подписке)|читать по подписке)/i.test(text))return {...out,status:'restricted',reason:'Для полного текста может потребоваться вход, подписка или доступ организации. Проверьте вручную.'}; if(/html/i.test(r.type)&&!text)return {...out,status:'unknown',reason:'Получена пустая HTML-страница. Доступ к материалу не подтверждён.'}; if(/html/i.test(r.type)&&((scripted&&text.length<200)||/^(загрузка|loading)[.\s…]*$/i.test(text)))return {...out,status:'unknown',reason:'Получена оболочка страницы с загрузкой через JavaScript. Доступ к материалу не подтверждён; откройте ссылку вручную.'};return out;} -export async function checkLink(url:string):Promise{try{return classify(url,await retrieve(url));}catch(e){const error=e as Error;return {url,status:error instanceof HostCooldown?'blocked':error.name==='AbortError'?'timeout':'network',reason:error.name==='AbortError'?'Сервер не ответил за 12 секунд.':`Не удалось загрузить: ${error.message.slice(0,180)}`,checkedAt:new Date().toISOString()};}} +export async function checkLink(url:string):Promise{try{return classify(url,await retrieve(url));}catch(e){const error=e as Error;return {url,status:error instanceof HostCooldown?'blocked':error.name==='AbortError'?'timeout':'network',reason:error.name==='AbortError'?'Превышен общий лимит ожидания: 30 секунд, включая паузы между перенаправлениями.':`Не удалось загрузить: ${error.message.slice(0,180)}`,checkedAt:new Date().toISOString()};}} diff --git a/lib/throttle.ts b/lib/throttle.ts index 6bc9ebc..c514f2c 100644 --- a/lib/throttle.ts +++ b/lib/throttle.ts @@ -30,7 +30,7 @@ export async function waitForHost(host:string,signal?:AbortSignal){ export function retryDelay(value:string|undefined,now:number){ const milliseconds=value&&/^\d+$/.test(value.trim())?Number(value)*1000:value?Date.parse(value)-now:0; // Ignore malformed values; keep a minimum pause even if the server says zero. - return Math.min(86400000,Math.max(60000,Number.isFinite(milliseconds)?milliseconds:0)); + return Math.min(8640000000000000-now,Math.max(60000,Number.isNaN(milliseconds)?0:milliseconds)); } export async function limitHost(host:string,code:number,retryAfter?:string){ if(![403,429,503].includes(code))return; diff --git a/tests/throttle.test.ts b/tests/throttle.test.ts index 49a0bb8..3b08c91 100644 --- a/tests/throttle.test.ts +++ b/tests/throttle.test.ts @@ -15,7 +15,8 @@ test('Retry-After handles seconds, dates, invalid and excessive values',()=>{ const now=Date.parse('2026-10-29T00:00:00Z'); assert.equal(retryDelay('120',now),120000);assert.equal(retryDelay('Thu, 29 Oct 2026 00:02:00 GMT',now),120000); for(const value of [undefined,'garbage','0','-1','Wed, 28 Oct 2026 00:00:00 GMT'])assert.equal(retryDelay(value,now),60000); - assert.equal(retryDelay('99999999999999999999999999',now),86400000); + assert.equal(retryDelay('172800',now),172800000); + for(const value of ['99999999999999999999999999','9'.repeat(400)])assert.equal(new Date(now+retryDelay(value,now)).toISOString(),'+275760-09-13T00:00:00.000Z'); }); test('cooldown survives reconnect, cannot be shortened and prevents a network attempt',async()=>{ await limitHost('limited.org',429,'600');await limitHost('limited.org',503,'1');await closeDatabase();