Technikai bejelentések

[G.Á]

A helyzet nagyjából a következő az adatforgalom tekintetében:

Augusztusban átlagosan kb 210MB/nap forgalom zajlott le.
Szeptember első felében hasonló, második felében viszont 1-3GB/nap forgalom is előfordult.
Októberben szintén 2-3GB/nap volt a jellemző forgalom, amíg ki nem merült a keret.

Októberi statisztikákat használva, a sávszélesség-felhasználás:
64.37% -a kommerciális, (ez feltehetően spider/crawler...stb robotokat jelent),
30.79% -a ismeretlen, (jó része szintén robot),
1.75% -a EU,
1.54% -a Németország,
0.81% -a Magyarország,
0.43% -a Network(net),
0.26% -a Oroszország,
0.02% -a Ukrajna,
0.01% -a Ausztrália,
eredetű.

A legnagyobb egyéni forgalmat a "3-224-220-101.crawl.amazonbot.amazon" hozta, több mint fél GB forgalmat generálva, de mindössze 20 látogatás alapján. A top30-ban szintén robotok találhatóak, igaz van amelyik (a statisztika alapján) nulla látogatással generált jelentős forgalmat.

Összehasonlítva az augusztusi adatokkal, akkor a kommerciális+ismeretlen eredetű forgalom 76%-os volt.

Tehát az szinte biztos hogy a különböző robotok igen számottevő forgalmat generálnak, ennek csökkentésére egyelőre annyit tettem, hogy módosítottam a spam-szűrési beállításokon. Igaz, így kicsit nehezebb lehet regisztrálni, de a napi forgalmat sikerült 2GB/nap-ról 900MB/nap-ra csökkenteni (az utóbbi 4-5 nap alapján, ami még nem éppen statisztikailag szignifikáns). Nyilván továbbra is nagy lesz a robot-adatforgalom, de többségük azt hiszem egyáltalán nem látszik a látogató-számlálón, vagy csak pár másodpercig.

[api]

Ha a pár másodperces látogatások nem látszanak a számlálókon, akkor nyilván ezek az egész rövid robot forgalmak magyarázzák, a nagy eltérést a témacsoportok látogatóinak összege és az eredő fórumlátogatások száma között. A témacsoportokban eltöltött néhány másodpercek ott nem látszanak, de az összegeik már megmozdítják a kezdőlap számlálóját.

Csak azt nem értem, mire való ez az újabb keletű nagy spider/crawler aktivitás? Az én kereséseim már 5-6 évvel ezelőtt is feltűnő gyakran hoztak fel tartalmakat innen a fórumról. Nem látom, hogy ahhoz képest most gyakrabban jelennének meg. Akkor mi pluszt termel most ez a nyüzsgés?

Ezzel a látogatásszámlálással kapcsolatban jutott eszembe, hogy megkérlek, nézd meg, hányan olvasták/töltötték le a http://kozmoforum.hu/Uton_a_kezdetek_fele.pdf anyagot? Mert ez reálisabban tükrözné az olvasottságát, mint azok a valószínűtlenűl magas tízen-huszonezres megtekintési számok, amelyek a jpg. formátumú feltöltések alatt láthatók.

[Sanyilaci]

A legnagyobb egyéni forgalmat a "3-224-220-101.crawl.amazonbot.amazon" hozta,

Mi most fejlesztettünk le a cégben egy új webshopot. A régi 15 éves volt, és csak regisztráció-bejelentkezés után lehetett bármit is kattingatni benne. Ez hatékonyan szűrte a robotokat, de sajnos a vásárlókat is.
Az új ún. "nyílt webshop", millió dolog elérhető belépés nélkül is. Mint ahogy a kozmofórumon, szinte minden elérhető bejelentkezés nélkül.
Na, pont októberben, egyik napról a másikra arra ébredtünk, hogy az addig általában egy időben jelenlévő 170 user helyett 35000 user van bent. A vendég látogatók is userek, kapnak egy sessiont amikor odatévednek...
Másodpercenként 5-10 guest user kapott sessiont. Úgy tizedmásodpercenként...
Kiderült, hogy az amazon robot volt. Nagyon aggresszív robotja van. A google gentle, az amazon komoly terhelést és adatforgalmat generál.
Mi kitiltottuk az egész amazon-t, most nem tudom mi alapján, IP cím, vagy név alapján. Azóta nincs baj.

[G.Á]

Ezzel a látogatásszámlálással kapcsolatban jutott eszembe, hogy megkérlek, nézd meg, hányan olvasták/töltötték le a Uton_a_kezdetek_fele.pdf anyagot?

Elvileg kb 206-szor töltötték le.

Na, pont októberben, egyik napról a másikra arra ébredtünk, hogy az addig általában egy időben jelenlévő 170 user helyett 35000 user van bent. A vendég látogatók is userek, kapnak egy sessiont amikor odatévednek...
Másodpercenként 5-10 guest user kapott sessiont. Úgy tizedmásodpercenként...
Kiderült, hogy az amazon robot volt. Nagyon aggresszív robotja van. A google gentle, az amazon komoly terhelést és adatforgalmat generál.
Mi kitiltottuk az egész amazon-t, most nem tudom mi alapján, IP cím, vagy név alapján. Azóta nincs baj.

Köszi szépen az infót, majd megnézem hogy mihez lehet kezdeni.

[api]

Kösz szépen, hogy megnézted!