• Tekoäly biittasi ihmisen pokerissa – 20 vuotta myöhemmin kui

    Home Forums Pokeritieto Kolumnistit Tekoäly biittasi ihmisen pokerissa – 20 vuotta myöhemmin kui

    Viewing 15 posts - 1 through 15 (of 28 total)
    • Author
      Posts
    • #38342
      Aki
      Participant

      Nyt on shakin ja gon lisäksi ihminen biitattu myös head-up no limit Texasissa. Pari vuotta sitten Claudico-niminen botti vielä otti pataan ammattilaisilta. Nyt fiksumpi pikkuveljensä Libratus olisi vapauttanut neljä prota 1,7 miljoonasta dollarista 50/100 pelissä 120.000 jaossa, jos olisi pelattu oikealla rahalla.

      https://www.pokeritieto.com/node/17974

      #938932
      KunChipitKarkaavat
      Participant

      @Aki wrote:

      Ainakin vielä toistaiseksi pokerisaitit, jotka viitsivät nähdä vaivaa asian eteen, kykenevät tunnistamaan ja blokkaamaan botit.

      Hetkinen hetkinen. Uskotko todella tuohon, mitä kirjoitit yllä ja miksi.

      Uskon, että kolluusiobotteja voidaan bustata esim Omahassa, jos bottiryhmän jäsen konsistentisti näyttää osaavan vetää väriä, kun sen todennäköisyys on yli 50%, jos vain tietäisi muiden hoolikortit (tietämättä kortteja vain 30%) ja toisaalta osaa kipata potillisen betsin, vaikka se on virhe, kun ulospäin equityä pitäisi olla 33% jos ei tiedä muitten hoolikorteista mitään.

      Mutta siis: Kertoositko, miten bustataan individual AI, johon on ohjelmoitu ihmismäinen liike ja satunnaistus.

      #938933
      FatGreggie
      Participant

      @KunChipitKarkaavat wrote:

      Hetkinen hetkinen. Uskotko todella tuohon, mitä kirjoitit yllä ja miksi.

      Mielestäni tämän voisi tulkita myös niin, että Aki viittaa edellisessä lauseessaan mainitsemiinsa fieldin biittaaviin botteihin:

      Jo pitkään on ollut olemassa ihan riittävän hyviä botteja fieldin biittaamiseen. Ainakin vielä toistaiseksi pokerisaitit, jotka viitsivät nähdä vaivaa asian eteen, kykenevät tunnistamaan ja blokkaamaan botit.

      #938936
      JR
      Participant

      @KunChipitKarkaavat wrote:

      @Aki wrote:

      Ainakin vielä toistaiseksi pokerisaitit, jotka viitsivät nähdä vaivaa asian eteen, kykenevät tunnistamaan ja blokkaamaan botit.

      Hetkinen hetkinen. Uskotko todella tuohon, mitä kirjoitit yllä ja miksi.

      Uskon, että kolluusiobotteja voidaan bustata esim Omahassa, jos bottiryhmän jäsen konsistentisti näyttää osaavan vetää väriä, kun sen todennäköisyys on yli 50%, jos vain tietäisi muiden hoolikortit (tietämättä kortteja vain 30%) ja toisaalta osaa kipata potillisen betsin, vaikka se on virhe, kun ulospäin equityä pitäisi olla 33% jos ei tiedä muitten hoolikorteista mitään.

      Mutta siis: Kertoositko, miten bustataan individual AI, johon on ohjelmoitu ihmismäinen liike ja satunnaistus.

      Mä uskon siihen. Toistaiseksi AI pelaa eri näköisesti kuin ihminen – noi Libratuksen vastustajat mun mielestä hyvin sivuaa aihetta joissakin tonkin haasteen tiimoilta käydyissä haastatteluissa, kuvaillessaan miten hämmentävää sitä vastaan on pelata. Se ero on sen tyyppistä vapaata hahmontunnistusta jossa vielä toistaseks ihmiset on tosi hyviä, mutta jos kokeneelle ihmispelaajalle annetaan kohtuullisesta määrästä käsiä pelaajan “tracker”-statsit, niin yleensä se osaa aika nopeesti sulkea pois botin mahdollisuuden, tai sitten lopulta päätyy siihen. Googlaamalla vanhoja 2+2 ketjuja pelaajien bustaamista bottiringeistä löytyy julkista keskustelua tämän tyyppisestä päättelystä – usein niissä se naulaava todiste on ollut monta tiliä identtisillä statseilla, mutta myös statsit ovat olleet “outoja”.

      Tietyt osat ovat ilmiselviä, esim botin “väsymättömyys”, mutta loppuja on vähän vaikeampi selittää. Monenlaisia pelitekoälyjä koodanneena ja nähneenä tekoälyjen pelityyleissä verrattuna ihmiseen on tiettyjä järjestelmällisiä eroja, jotka luultavasti selittyvät ihmisaivojen lajityypillisillä heikkouksilla jotka sitten näkyvät samansuuntaisina virheinä pelissä kuin pelissä. Hyvät tekoälyt ovat tyypillisesti aggressiivisia ja ahneita, ja esim ihmistä useammin osaavat vivuttaa saavutetun hyvän tilanteen vielä paremmaksi tilanteeksi paikoissa joissa ihmispelaaja realisoi saavutetun edun. Ne pelaavat yhtä “itsevarmasti” pelipuun hyvin harvinaisissa osissa kuin yleisissä – ihminen valitsee konservatiivisempia linjoja koska taito on kehittynyt toistojen myötä. Niiden strategioista löytyy järkevä osuus hyvin “äärimmäisiä” ratkaisuja jotka ihminen yleensä on missannut.

      Mitä helpompi peli, sitä paremmin ihmiset oppivat sitä pelaamaan, ja sitä vähemmän “epäinhimilliseltä” näyttää botin peli. Esimerkiksi puoliavokiinanpokerissa hyvä botti näyttää lähinnä todella hyvältä ihmispelaajalta, low- tai midstakes rinkikäteispelissä melko erilaiselta.

      Mitä lähempänä jonkun pelin ratkaisua hyvät pelaajat ovat, sitä hankalampi botteja on luonnollisesti tunnistaa – nettipokerissa olisin siis ensimmäisenä huolissani esim turbosittareista. RInkipelillä ei pitäisi olla vielä hätää pitkään aikaan nykyisellä kehityskululla.

      Kaikkein optimistisin näkemys olisi että pelit tasapainottavat tässä suhteessa itseään – kun merkittävä osa pelaajista oppii pelaamaan niin hyvin, että botit eivät olisi enää tunnistettavia, ei pelissä biittaa kukaan enää rakea, ja se ei ole houkutteleva kohde boteille, ja lahjakkaat ihmispelaajat joutuvat siirtymään vaikeampaan peliin. Mutta tämä on enemmän tämmöinen shower thought, jota en ole miettinyt mitenkään pitkällisesti auki.

      #938938
      KunChipitKarkaavat
      Participant

      @JR wrote:

      Mä uskon siihen. Toistaiseksi AI pelaa eri näköisesti kuin ihminen – noi Libratuksen vastustajat mun mielestä hyvin sivuaa aihetta joissakin tonkin haasteen tiimoilta käydyissä haastatteluissa, kuvaillessaan miten hämmentävää sitä vastaan on pelata. Se ero on sen tyyppistä vapaata hahmontunnistusta jossa vielä toistaseks ihmiset on tosi hyviä, mutta jos kokeneelle ihmispelaajalle annetaan kohtuullisesta määrästä käsiä pelaajan “tracker”-statsit, niin yleensä se osaa aika nopeesti sulkea pois botin mahdollisuuden, tai sitten lopulta päätyy siihen. Googlaamalla vanhoja 2+2 ketjuja pelaajien bustaamista bottiringeistä löytyy julkista keskustelua tämän tyyppisestä päättelystä – usein niissä se naulaava todiste on ollut monta tiliä identtisillä statseilla, mutta myös statsit ovat olleet “outoja”.

      Kiitos monipuolisesta hyvästä vastauksesta. Tällaista laatuvastailua on nykyään liian vähän

      Muutamia huomioita tyhjiöstä:

      1. Mainitsit, että kolluusiobotit on saatu kiinni, koska näiden sormenjäljet (= tuhansista käsistä tehty tilastollinen kooste) on liian samanlainen. Olettaisin, että tämä on yksi ensimmäisistä asioista, joihin bottien kehittäjä kiinnittäisi huomiota, jotta ei jää kiinni mutta ilmeisesti näin ei ole ainakaan kaikissa tapauksissa. Entä sellainen seikka, että vaikka ei välittäisi sormenjälkien samankaltaisuudesta, voisi itse helposti seurata, miltä esimerkiksi PokerStarsin silmin “minun bottieni” sormenjäljet näyttävät ja kun ne lähestyvä liikaa toisiaan tilastollisen merkitsevyyden mielessä, otetaan exit ja rahat ulos ja tehdään uudet tilit ja sama temppu. Tämän lisäksi voisi periaattteessa ohjelmoida erilaisia profiileja. Pöytään otetaan pari “Janne” bottia, joiden tehtävä on vain välittää kortti-informaatiota, pelata shorttina ja survoa no brainer spoteissa nutpeddlaten. Vain yksi boteista on varsinainen outo AI, jonka statsit näyttävät oudoilta ja joka hyödyntää täysimääräisesti card sharing informaation. Toteutus tulisi myös tehdä niin, että näitä “Janne” accounteja ja “killer shar” accounteja on useampia ja yhteen pöytään valitaan bottikompositio multinomijakaumasta joka kerta stokastisesti, että ei tule patterneja

      2. Mainitsit, että yksittäisen botin sormenjälki on outo. Ymmärrän tämän, mutta miten pokerisaitti voi lukita tilin rahat ja tilin, jos pelityyli poikkeaa kaikista muista ihmisistä. Mitä jos pelaaja käyttää vain AI neuvonantajaa, mutta ei bottia. Botti pelaa itsekseen ilman ihmistä. AI neuvonantaja on sellainen, että pelaaja syöttää AI laskuriin pelitilanteen ja katsoo, mitä AI ehdottaa. Näkisin tämän samankaltaiseksi kuin HEMin ja vastaavien apuohjelmien käytön. Niin kauan kuin varsinaisia klikkailuja ei ole automatisoitu, kyseessä ei ole an sich botti. Kuitenkin tällaisen AI neuvonantajaa hyväksikäyttävän pelaajan statseista tulee poikkeavat. Saako tällaisen pelaajan rahat lukita ja syyttää botteilusta? Esimerkiksi olettaisin, että short stack tilanteissa monet pelaajat käyttävät turnauksissa suoraan jotain puskutaulukkoja tietokonetta apuna käyttäen. Tämä ei ole botteilua vaikka onkin ehkä hieman epäurheilijamaista luomupelaajia vastaan.

      3. Mitä luulet olisiko seuraava pokerivariantti kohtuullisen AI varma vielä tovin: Pelataan rinkipeliä 6-10 pelaajalla, mutta ns street poker säännöillä niin, että käsiä pelataan esimerkiksi 3 orbitin blokeissa (jokaisen on pakko pelata se 3 orbittia) siten, että on olemassa minimäärä 3 bettejä ja flopin näkemisiä, joita pitää tehdä 3 orbitin aikana sekä vaatimuksena, vaikka vähintään yksi 4 bet per pelaaja. Street pokerissa ei voisi siis edes full tablena ns nutpeddlata voitollisesti. Nyt jos ajatellaan tilannetta tekoälyn kannalta laskentaongelmasta tulee vaikea, koska laskennassa täytyy huomioida jäljellä olevat pakolliset 3 betit ja mahdollinen 4 bet jäljellä olevissa käsissä sekä samaan aikaan AI olisi jatkuvasti postflop multiway tilanteissa, jotka ovat laskennallisesti huomattavan vaikeita verrattuna HU-tilanteisiin, koska pelaajilla on vaatimus nähdä paljon floppeja.

      #938940
      JR
      Participant

      1) Tekoälyn tyyliä on aika vaikea muuttaa tuhoamatta sen edgeä. Kuvailemasi kaltaiset monen eri roolisen pelaajan setupit on teoriassa mahdollisia, mutta aika raskaita kehittää – ja mitä vaikeampi joku himmeli on rakentaa, niin sitä enemmän sitä pitäisi pystyä peluuttamaan jäämättä kiinni, että projekti olisi houkutteleva, eli ei vielä riitä että kiinnijäämisestä tulee jonkun verran vaikeampaa.

      2) Judgement call. Ton tyyppiset softat on yleensä kielletty ToSissa, eli vaikka ei aktiivisesti jahdattais tai pystyttäiskään jahtaamaan ihmispelaajaa joka laskee muutaman tilanteen auki, niin ainakaan siinä tilanteessa missä pelaaja on selvästi käytännössä botti, ei tarvitse välittää puolustuksesta että pelaaja käytti vaan vähän livelaskinta.

      3. En tykkää yhtään tosta pokerivariantista – samalla kun se on vaikeampi koneelle, se on vielä vaikeampi ihmiselle. Ihmiset pelais aivan paskasti, joku botti pelais vähän vähemmän paskasti, ja ihmiselle olis niin vaikea käsittää peliä että analyyseistä ois paha ees sanoa mihin suuntaan ja minkä verran virheitä mitkäkin statsit edustaa. Lisäksi se puu mistä niitä statseja pitäis ajaa on niin hämärä (sehän pitäisi jakaa jäljelläolevien actioneiden ja jakosetin vaiheen mukaan), että oikein mitään statsia ei kertyisi “tarpeeksi”. Näkisin että on turha hakea ratkaisuja peleistä joissa ihminen yksinkertaisesti biittaa botin – alkaa olla tosi kapea se sektori missä tilanne olisi tämä jos fiksut ihmiset tosissaan keskittyy botin kehitykseen. Toistaiseksi hyviä on pelit joissa botti on tunnistettavissa. Sitten kun siihen ei enää pystytä, niin ehkä siirrytään ratkaisuihin joissa pyritään verifioimaan että pelaamassa on yksi ihminen ilman apuvälineitä.

      Tästä sais hyvin jännää keskustelua paljon syvemmällekin, mutta välttelen kaikenlaista tässä koska en halua erityisemmin coachata “vastapuolta”. Jos joskus taas satutaan kasinolle samaan aikaan niin nykäise hihasta, ja juttelen mieluusti lisää.

      #938951
      jheimon2
      Participant

      @JR wrote:

      1) Tekoälyn tyyliä on aika vaikea muuttaa tuhoamatta sen edgeä.

      Tassa on vaan se, etta seka kovien harjojen, etta bottien peli konvergoi vaajaamatta kohti GTO:ta ihmisten oppiessa boteilta. Toki jotain pienia eroja jaanee, mutta ne on sita luokkaa, etta kone on helppo pakottaa pois niista, esim pakottamalla tietty sizingvalikoima ja estaa vaikeimmat ja hammentavimmat GTO nyanssit.

      Samoin voisi kuvitella, etta nykyiset ja tulevat huippubotit myos adjustaavat sen verran laadukkaasti, etta peli on jopa vahemman kaavamaista kuin ihmisilla, ja sikali huomattavasti vaikeampaa erottaa niita statsien perusteella kuin muutaman vuoden takaisia kurabotteja.

      Eli kylla se nyt vaan on niin, etta RIP netti NLHE, olit liian kaunis tahan maailmaan. Omahalla lienee viela jotain toivoa. Vaikka toi proffa kovasti mainostaa, etta toi botti ei ota kantaa siihen, onko kyseessa NLHE, joku muu pokeriformaatti vai kenties joku ihan taysin toinen peli, niin kyllahan texu on kombojen maaran puolesta koneelle paljon helpompi, vaikka peliteoreettisesti onkin monimutkaisempi.

      #938952
      rocksolidplay
      Participant

      Oliko kyseessä limit- vai nolimit hold’em?

      #938953
      Alfil
      Participant

      @rocksolidplay wrote:

      Oliko kyseessä limit- vai nolimit hold’em?

      No limit holdem heads up.

      #938955
      stars10
      Member

      http://www.pokerlistings.com/libratus-poker-ai-smokes-humans-for-1-76m-is-this-the-end-42839

      Tuossa on kerrottu tarkasti miten peli suoritettiin: 200bb pinot, jotka täydettiin aina joka jaon jälkeen ja all-in tilanteissa ei jaettu tulevia kortteja, vaan merkit jaettiin sen hetkisen matemaattisen tilanteen mukaisesti. Tämä on hu-pokeria, josta on riisuttu pelin psykologia osittain pois. Mietityttää miten tosissaan vastaan pelaajat olivat ja pyrkivätkö he tietoisesti ylipelaamalla voittamaan ohjelman, jolloin heidän pelistrategia ja varaatiot olivat vääränlaisia?

      #938958
      futsal4ever
      Participant

      Ylipitkät sessiot, oikean motivaation puute jne. Nää altistaa ihmisen inhimillisille virheille, joita kone ei tee.(tehokas ei taidokkaampi) Suurin ongelma tässä on, siinä missä kone miettii jokaisen siirron läpi nää dongkimmit vetää intuitiolla aika suuren prosentin päätöksiä, jolloin lopputulos on tiedossa. Katotaan uusiks kun pelaa top-5 pelaajaa vs tunnin sessioita ja pelaaja miettii aikapankin loppuun jokasessa kädessä joka streetil käyden kaikki vaihtoehot läpi.

      #938962

      @KunChipitKarkaavat wrote:

      Muutamia huomioita tyhjiöstä:

      1. Mainitsit, että kolluusiobotit on saatu kiinni, koska näiden sormenjäljet (= tuhansista käsistä tehty tilastollinen kooste) on liian samanlainen. Olettaisin, että tämä on yksi ensimmäisistä asioista, joihin bottien kehittäjä kiinnittäisi huomiota, jotta ei jää kiinni mutta ilmeisesti näin ei ole ainakaan kaikissa tapauksissa. Entä sellainen seikka, että vaikka ei välittäisi sormenjälkien samankaltaisuudesta, voisi itse helposti seurata, miltä esimerkiksi PokerStarsin silmin “minun bottieni” sormenjäljet näyttävät ja kun ne lähestyvä liikaa toisiaan tilastollisen merkitsevyyden mielessä, otetaan exit ja rahat ulos ja tehdään uudet tilit ja sama temppu. Tämän lisäksi voisi periaattteessa ohjelmoida erilaisia profiileja. Pöytään otetaan pari “Janne” bottia, joiden tehtävä on vain välittää kortti-informaatiota, pelata shorttina ja survoa no brainer spoteissa nutpeddlaten. Vain yksi boteista on varsinainen outo AI, jonka statsit näyttävät oudoilta ja joka hyödyntää täysimääräisesti card sharing informaation. Toteutus tulisi myös tehdä niin, että näitä “Janne” accounteja ja “killer shar” accounteja on useampia ja yhteen pöytään valitaan bottikompositio multinomijakaumasta joka kerta stokastisesti, että ei tule patterneja

      Mielestäni tässä ykköskohdassa ongelmana ei ole botit tai niiden tunnistaminen vaan kolluusio ja sen tunnistaminen.
      JRn selvennys bottien tunnistamisesta menee kyllä ‘läpi’ ja uskon että ne jotka tuohon satsaavat pystyvät melko hyvin niitä tunnistamaan. Uskon kuitenkin että tämäkin tulee vaikeutumaan ja mahdollisesti bännätään myös ihmispelaajia botteina.

      #938964
      LarsLuzak
      Participant

      Kattelin vähän lukuja varianssilaskimesta. 14bb+ winratella virhemarginaali on aika olematon ja voittaja on täysin selvä. Mutta HSDB-jutussa puhuttiin 100/200 blindeista ja 7,36bb winratella (heitin 125 standard deviation) probability of loss on 2,07%, eli kuitenkin mahdollinen. En jaksa etsiä enempää artikkeleita asiasta, eli en tiedä kumpi luku on oikein.

      En osaa sanoa yhtään kuinka lähellä ihan kirkkainta kärkeä nämä neljä veturia on, kun en pelaa juurikaan NL ja seuraan sitä sceneä aika vähän. Olisin kuvitellut ainakin, ettei ainakaan 14bb voisi enää voittaa täydellinenkään botti parasta pelaajaa vastaan, varsinkin kun solverit on ilmeisesti aika pitkälle kehittyneitä. Itse en ole mitään rankempia softia NL:ään käyttänyt, ainakaan vielä, joten vähän arvauksen varassa on se, että mitä ne tekee ja kuinka hyvin. Kai tämä joka tapauksessa hiljalleen johtaa HU NL kuolemaan isoimmilla tasoilla (niin kuin kävi LHE HU, kun se ratkaistiin) ja sitten vaan jäädään odottamaan PLO:n ratkaisemista ja nettipokeri alkaa olla sinetöity 🙂

      #938968
      KunChipitKarkaavat
      Participant

      @jheimon2 wrote:

      @JR wrote:

      1) Tekoälyn tyyliä on aika vaikea muuttaa tuhoamatta sen edgeä.

      Tassa on vaan se, etta seka kovien harjojen, etta bottien peli konvergoi vaajaamatta kohti GTO:ta ihmisten oppiessa boteilta. Toki jotain pienia eroja jaanee, mutta ne on sita luokkaa, etta kone on helppo pakottaa pois niista, esim pakottamalla tietty sizingvalikoima ja estaa vaikeimmat ja hammentavimmat GTO nyanssit.

      Samoin voisi kuvitella, etta nykyiset ja tulevat huippubotit myos adjustaavat sen verran laadukkaasti, etta peli on jopa vahemman kaavamaista kuin ihmisilla, ja sikali huomattavasti vaikeampaa erottaa niita statsien perusteella kuin muutaman vuoden takaisia kurabotteja.

      Eli kylla se nyt vaan on niin, etta RIP netti NLHE, olit liian kaunis tahan maailmaan. Omahalla lienee viela jotain toivoa. Vaikka toi proffa kovasti mainostaa, etta toi botti ei ota kantaa siihen, onko kyseessa NLHE, joku muu pokeriformaatti vai kenties joku ihan taysin toinen peli, niin kyllahan texu on kombojen maaran puolesta koneelle paljon helpompi, vaikka peliteoreettisesti onkin monimutkaisempi.

      Tuo on hyvä pointti, että GTO solveri toki aiheuttaa sen, että peliä tuntikausia päivässä opiskelevat ammattilaiset alkavat automaattisesti pelaamaan lähempänä GTOta ja se näyttäytyy tekoälymäisenä ulospäin.

      Omahan ja muiden varianttien osalta en ole super-luottavainen, koska laskenta-abstraktioiden kehitys on ollut tehokasta. Kysymys ei ole ainoastaan hardware Mooren laista vaan Moore + algoritmiikka + abstraktiot = potentiaalisesti super eksponentiaalista

      Sen sijaan multiway ja multiwayhin pakottaminen post antaa enemmän elinaikaa pokerille

      #938970
      egeseg
      Participant

      @futsal4ever wrote:

      Ylipitkät sessiot, oikean motivaation puute jne. Nää altistaa ihmisen inhimillisille virheille, joita kone ei tee.(tehokas ei taidokkaampi) Suurin ongelma tässä on, siinä missä kone miettii jokaisen siirron läpi nää dongkimmit vetää intuitiolla aika suuren prosentin päätöksiä, jolloin lopputulos on tiedossa. Katotaan uusiks kun pelaa top-5 pelaajaa vs tunnin sessioita ja pelaaja miettii aikapankin loppuun jokasessa kädessä joka streetil käyden kaikki vaihtoehot läpi.

      Tämä toki vaikuttaa tuloksiin määrän x, mutta varmaan aika mahdoton yhtälö korjata siten, että jonkinlainen merkittävä määrä saataisiin silti käsiä sisään. Tai no voisihan sen viedä näytösluontoisesti johonkin pokerisaitille istuskelemaan (pitäisi tosin ehkä perustaa oma saitti) ja katsoa, antavatko prot paljon actionia 🙄

    Viewing 15 posts - 1 through 15 (of 28 total)
    • You must be logged in to reply to this topic.