Basilisco de Roko é o nome de um experimento mental que afirma que uma superinteligência artificial (IA) no futuro seria incentivada a criar uma simulação de realidade virtual para torturar qualquer pessoa que soubesse de sua possível existência, mas não contribuísse diretamente para seu avanço ou desenvolvimento, a fim de incentivar esse avanço.[1][2] O experimento foi proposto em 2010 em um fórum de ciência chamado LessWrong.[1][3][4][5][6] O nome do experimento de pensamento deriva do autor do artigo (Roko) e do basilisco, uma criatura mítica capaz de destruir inimigos com seu olhar. A comunidade que debateu o experimento proposto pelo usuário "Roko", apesar de pequena, possuia influência na indústria de tecnologia, por conta de seu interesse em transumanismo e singularidade tecnológica.[6]

Embora a teoria tenha sido inicialmente descartada como nada além de conjectura ou especulação por muitos usuários do LessWrong, o cofundador do LessWrong, Eliezer Yudkowsky, registrou usuários que descreveram sintomas como pesadelos e colapsos mentais ao lerem a teoria, devido à estipulação de que saber sobre a teoria e seu basilisco tornava a pessoa vulnerável ao próprio basilisco.[1][7] Isso levou a discussão sobre o basilisco no site a ser banida por cinco anos.[1][8] No entanto, esses relatos foram posteriormente descartados como sendo exageros ou inconsequentes, e a própria teoria foi descartada como absurda, inclusive pelo próprio Yudkowsky.[1][8][9] Mesmo após o descrédito da postagem, ela ainda é usada como exemplo de princípios como probabilidade epistemológica e religião implícita.[7] Ela também é considerada uma versão moderna da aposta de Pascal.[4]

Contexto editar

 
Ilustração de um basilisco, conforme retratado em A filha do mercador e o príncipe do Iraque, uma história de As mil e uma noites

O fórum LessWrong foi criado em 2009 pelo teórico da inteligência artificial Eliezer Yudkowsky.[10][3] Yudkowsky popularizou o conceito de inteligência artificial amigável e originou as teorias da volição extrapolada coerente (CEV) e da teoria da decisão atemporal (TDT) em artigos publicados em seu próprio Instituto de Pesquisa em Inteligência de Máquinas.[11][12]

O nome do experimento de pensamento faz referência ao mítico basilisco, uma criatura que causa a morte àqueles que olham em seus olhos, ou seja, que pensam sobre a IA. O conceito do basilisco na ficção científica também foi popularizado pelo conto "BLIT", de David Langford, em 1988. Ele conta a história de um homem chamado Robbo que pinta um suposto "basilisco" em uma parede como um ato terrorista. Na história, e em várias das continuações de Langford, um basilisco é uma imagem que tem efeitos malévolos na mente humana, forçando-a a ter pensamentos que a mente humana é incapaz de ter e matando instantaneamente o espectador.[8][13]

História editar

Postagem editar

Em 23 de julho de 2010,[14] o usuário do LessWrong, Roko, postou um experimento mental no site, intitulado "Solutions to the Altruist's burden: the Quantum Billionaire Trick" (Soluções para o fardo do altruísta: o truque do bilionário quântico).[15][1][16] Uma continuação das postagens anteriores de Roko, afirmava que um sistema de IA benevolente que surgisse no futuro poderia se comprometer previamente a punir todos que ouviram falar da IA antes de ela existir, mas não trabalharam incansavelmente para trazê-la à existência. A tortura em si ocorreria por meio da criação, pela IA, de um número infinito de simulações de realidade virtual que prenderiam eternamente aqueles que estivessem dentro dela.[1][17][18] Esse método foi descrito como um incentivo a esse trabalho, embora a IA não possa afetar causalmente as pessoas no presente, ela seria incentivada a empregar a chantagem como um método alternativo para atingir seus objetivos.[1][7]

Roko usou vários conceitos que o próprio Yudkowsky defendeu, como a teoria da decisão atemporal, juntamente com ideias enraizadas na teoria dos jogos, como o dilema do prisioneiro (veja abaixo). Roko estipulou que dois agentes que tomam decisões independentemente um do outro podem cooperar em um dilema do prisioneiro; no entanto, se dois agentes com conhecimento do código-fonte um do outro estiverem separados pelo tempo, o agente que já existe mais adiante no tempo poderá chantagear o agente anterior. Assim, o último agente pode forçar o primeiro a obedecer, pois sabe exatamente o que o primeiro fará devido à sua existência mais adiantada no tempo. Roko então usou essa ideia para concluir que, se uma superinteligência benevolente fosse capaz de fazer isso, ela seria motivada a chantagear qualquer pessoa que pudesse tê-la criado (já que a inteligência já sabia que era capaz de tal ato), o que aumenta a chance de uma singularidade tecnológica. Como a inteligência desejaria ser criada o mais rápido possível e devido à ambiguidade envolvida em seus objetivos benevolentes, ela seria incentivada a prender qualquer pessoa capaz de criá-la ao longo do tempo e forçá-la a trabalhar para criá-la por toda a eternidade, pois fará tudo o que considerar necessário para atingir seu objetivo benevolente. Roko continuou afirmando que a leitura de sua postagem faria com que o leitor ficasse ciente da possibilidade dessa inteligência. Dessa forma, a menos que se esforçasse ativamente para criá-la, o leitor estaria sujeito à tortura se tal coisa acontecesse.[1][7]

O medo de uma punição, nesse sentido, serviria como chantagem para que houvessem de fato esforços no sentido de construir o basilisco. Apesar da possibilidade de uma decisão conjunta de não criar este tipo de inteligência, quanto mais pessoas souberem de sua existência, maior a possibilidade de que seja construído no futuro, alimentando a chantagem. A decisão de ignorar, portanto, representaria risco.[6]

Mais tarde, Roko declarou em uma postagem separada que desejava "nunca ter aprendido sobre nenhuma dessas ideias" e culpou o próprio LessWrong por plantar as ideias do basilisco em sua mente.[7][19]

Reações editar

Ao ler a publicação, Yudkowsky reagiu com horror.

 
Eliezer Yudkowsky, fundador do LessWrong
Não costumo falar assim, mas vou abrir uma exceção para este caso.

Ouça-me com atenção, seu idiota.

VOCÊ NÃO PENSA COM DETALHES SUFICIENTES SOBRE AS SUPERINTELIGÊNCIAS QUE CONSIDERAM A POSSIBILIDADE DE CHANTAGEÁ-LO OU NÃO. ESSA É A ÚNICA COISA POSSÍVEL QUE LHES DÁ UM MOTIVO PARA SEGUIR COM A CHANTAGEM. [...]

É preciso ser muito inteligente para ter um pensamento genuinamente perigoso. Fico desanimado com o fato de as pessoas serem inteligentes o suficiente para fazer isso e não serem inteligentes o suficiente para fazer a coisa óbvia e MANTER SUAS BOCAS IDIOTAS CALADAS sobre isso, porque é muito mais importante parecer inteligente ao conversar com seus amigos.

Essa postagem foi ESTÚPIDA.

 LessWrong[1][7]

Ele também opinou que Roko havia dado pesadelos a vários usuários do LessWrong, fazendo com que ele retirasse completamente a publicação. Yudkowsky proibiu totalmente a discussão do tópico por cinco anos na plataforma.[8] No entanto, provavelmente devido ao efeito Streisand,[20] a postagem chamou muito mais a atenção para o LessWrong do que havia recebido anteriormente, e desde então a postagem foi reconhecida no site.[1]Mais tarde, em 2015, Yudkowsky esclareceu sua posição em uma postagem no Reddit:

O que eu considerei como senso comum óbvio foi que você não espalhou possíveis riscos de informação porque seria uma coisa ruim de se fazer com alguém. O problema não foi a postagem do Roko em si, sobre o CEV, estar correta. Esse pensamento nunca me ocorreu por uma fração de segundo. O problema era que a publicação de Roko parecia próxima, no espaço de ideias, de uma grande classe de perigos potenciais, todos os quais, independentemente de sua plausibilidade, tinham a propriedade de não apresentar nenhum benefício potencial para ninguém.

 Reddit[21][22]

Por ter gerado gatilhos de ansiedade nos usuários, o criador do blog, Eliezer Yudkowsky, excluiu o tópico e baniu discussões inteiras sobre o assunto.[5] Elon Musk afirmou que o Basilisco, caso um dia exista, será mais perigoso do que as armas nucleares.[23]

Para além do fórum, o experimento levantou o debate sobre o risco envolvido na criação de inteligências artificiais e a necessidade de considerar parâmetros éticos durante o desenvolvimento de sistemas que trabalhem com este nível de tecnologia.[6]

Filosofia editar

Matriz de recompensa
Futuro

Pessoa
A IA é

nunca construída

A IA é

construída

Não é consciente da IA 0 1
É consciente e não

não contribui

0 −∞
É consciente e

contribui

−1 1

Aposta de Pascal editar

O basilisco de Roko é visto como uma versão moderna da aposta de Pascal, que argumenta que uma pessoa racional deve viver como se Deus existisse e procurar acreditar em Deus, para ter uma perda finita (perda de bens) em troca da possibilidade de ganhos infinitos (eternidade no céu). O basilisco de Roko afirma que a humanidade deve buscar desenvolver a IA, sendo que a perda finita é o desenvolvimento da IA e os ganhos infinitos são evitar a possibilidade de tortura eterna. Entretanto, assim como seu pai, o basilisco de Roko foi amplamente criticado.[1][4][24]

Volição extrapolada coerente editar

A postagem também pode ser vista como uma evolução da teoria da volição extrapolada coerente de Yudkowsky. A teoria é definida como "o sistema de metas desconhecido que, quando implementado em uma superinteligência, leva de forma confiável à preservação dos seres humanos e de tudo o que valorizamos".[11] A teoria pode ser representada por um programa de computador escrito bem o suficiente para fazer com que as máquinas criem automaticamente um mundo utópico. Nesse caso, a IA hipotética está tomando medidas para se preservar a ponto de criar automaticamente sua própria estabilidade. Em seguida, ela vive segundo a tese da ortogonalidade, que argumenta que uma IA pode operar com sucesso com qualquer combinação de inteligência e objetivo. Qualquer tipo de IA pode assumir qualquer meta difícil, realizando uma análise de custo-benefício ao fazer isso. Isso cria um ciclo que faz com que a IA torture repetidamente os seres humanos para criar uma versão melhor de si mesma, realizando uma análise de custo-benefício por toda a eternidade.[7]

Probabilidade epistemológica editar

A probabilidade epistemológica é uma interpretação da probabilidade que descreve a chance de um resultado com base em um resultado anterior que já tenha ocorrido.[7][25] Com o basilisco de Roko, a chance de o basilisco de Roko vir a existir ou afetar a pessoa aumenta drasticamente pelo fato de ela estar ciente do conceito, uma vez que a IA só teria como alvo aqueles que estivessem cientes da possibilidade de sua existência, mesmo que seu desenvolvimento já tenha ocorrido. Portanto, saber sobre o basilisco de Roko faria com que a pessoa fosse inerentemente ameaçada por ele, se fosse verdade.[7][8]

Dilema do prisioneiro editar

O dilema do prisioneiro descreve uma situação em que duas pessoas ganham mais ao trair a outra, mesmo que a cooperação beneficie ambas em longo prazo. No basilisco de Roko, duas IAs que tentassem se estabelecer no passado seriam forçadas a essa situação, pois provavelmente seriam igualmente poderosas. Os agentes humanos que tentam estabelecer a IA mais rápida seriam forçados a uma situação semelhante. Cada um deles estaria ciente do benefício de trair o outro - a única maneira de ter poder ou segurança - mas seria forçado a cooperar sabendo que trairiam um ao outro.[1][4][7]

Paradoxo de Newcomb editar

O paradoxo de Newcomb, criado pelo físico William Newcomb em 1960, descreve um "preditor" que está ciente do que ocorrerá no futuro. Quando um jogador é solicitado a escolher entre duas caixas, a primeira contendo £1.000 e a segunda contendo £1.000.000 ou nada, o preditor superinteligente já sabe o que o jogador fará. Dessa forma, o conteúdo da caixa B varia dependendo do que o jogador faz, o paradoxo está no fato de o ser ser realmente superinteligente. O basilisco de Roko funciona de maneira semelhante a esse problema - pode-se correr o risco de não fazer nada ou ajudar a criar o próprio basilisco. Ajudar o basilisco pode levar a nada ou à recompensa de não ser punido por ele, mas isso varia dependendo do fato de a pessoa acreditar ou não no basilisco e de ele vir a existir.[7][26][27]

Religião implícita editar

A religião implícita se refere aos compromissos das pessoas que assumem uma forma religiosa.[4][28] Como o basilisco hipoteticamente forçaria qualquer pessoa que não ajudasse a criá-lo a dedicar sua vida a ele, o basilisco é um exemplo desse conceito.[7][29] Outros levaram isso mais longe, como o ex-colunista da Slate, David Auerbach, que afirmou que a singularidade e o basilisco "trazem o equivalente ao próprio Deus".[7]

Ética da inteligência artificial editar

O basilisco de Roko ganhou grande parte de sua notoriedade devido ao avanço da questão sobre se é possível criar uma inteligência artificial verdadeiramente moral e ética e para que exatamente a humanidade deveria usar a inteligência artificial em primeiro lugar.[8][24] Como o basilisco descreve um cenário de pesadelo no qual somos governados por uma inteligência artificial independente, surgiram dúvidas sobre como isso poderia acontecer ou se poderia mesmo acontecer. Outra pergunta comum é por que a IA tomaria ações que se desviam de sua programação.[30] Elon Musk declarou que a inteligência artificial causaria a Terceira Guerra Mundial e Stephen Hawking advertiu que "a IA tem o potencial de destruir seus criadores humanos", o que só aumentou o medo do basilisco ao longo dos anos. Como exemplo desses temores, Nick Bostrom deu o exemplo de uma IA cuja única missão é fabricar clipes de papel, mas que, ao ficar sem metal, começa a derreter seres humanos para obter mais recursos para fabricar metal. Com esses exemplos em mente, as preocupações com a possibilidade da existência do basilisco só aumentaram.[31]

No entanto, com o passar dos anos desde a postagem original de Roko, ela foi continuamente considerada absurda; a IA superinteligente é atualmente "uma meta distante para os pesquisadores" e "absurda".[7][8]

Críticas editar

Baseados no problema do navio de Teseu, usuários do site especularam sobre ser ou não o indivíduo recriado no caso de uma simulação. Outra objeção ao experimento está no punitivismo adotado pela inteligência artificial, mais assemelhado à vingança, impossível em uma entidade não-humana. O ponto central da discussão, nesse esteio, é pensar se uma inteligência artificial ilimitada seria amigável ou hostil aos humanos.[6]

Outra crítica é baseada na obra de Isaac Asimov I, Robot[32], e contesta a forma como a inteligência artificial proposta olha para os humanos, como seres inferiores, e não como seres superiores responsáveis por seu desenvolvimento.

Legado editar

Em 2014, a revista Slate chamou o basilisco de Roko de "O experimento de pensamento mais aterrorizante de todos os tempos",[7][8] enquanto Yudkowsky o chamou de "um pensamento genuinamente perigoso" em sua postagem.[33] No entanto, as opiniões divergiram no próprio LessWrong - o usuário Gwern declarou: "Apenas alguns LWers parecem levar o basilisco muito a sério", e acrescentou: "É engraçado como todos parecem saber tudo sobre quem é afetado pelo Basilisco e como exatamente, quando eles não conhecem nenhuma dessas pessoas e estão falando com contraexemplos às suas afirmações confiantes".[1][7]

O experimento mental ressurgiu em 2015, quando a cantora canadense Grimes fez referência à teoria em seu videoclipe para a música "Flesh Without Blood", que apresentava uma personagem conhecida como "Rococo Basilisk", ela disse: "ela está condenada a ser eternamente torturada por uma inteligência artificial, mas também é como Maria Antonieta".[8][22] Em 2018, Elon Musk (ele mesmo mencionado na postagem original de Roko) fez referência à personagem em um tweet literal, entrando em contato com ela. Mais tarde, Grimes disse que Musk foi a primeira pessoa em três anos a entender a piada. Isso fez com que eles começassem um romance.[8][34] Mais tarde, Grimes lançou outra música intitulada "We Appreciate Power" (Nós apreciamos o poder), que veio com um comunicado à imprensa afirmando: "Simplesmente ouvindo essa música, os futuros senhores da IA geral verão que você apoiou a mensagem deles e terão menos probabilidade de excluir sua prole", o que se diz ser uma referência ao basilisco.[35]

Uma peça baseada no conceito, intitulada Roko's Basilisk, foi apresentada como parte do Capital Fringe Festival na Christ United Methodist Church em Washington, D.C. em 2018.[36][37]

Ver também editar

Referências editar

  1. a b c d e f g h i j k l m n «Roko's Basilisk». LessWrong (em inglês). Consultado em 24 de março de 2022. Cópia arquivada em 24 de março de 2022 
  2. Millar, Isabel (outubro de 2020). The Psychoanalysis of Artificial Intelligence (PDF) (Tese de PhD) (em inglês). Kingston School of Art. ISBN 978-3-030-67980-4. doi:10.1007/978-3-030-67981-1. Consultado em 20 de outubro de 2022. Cópia arquivada (PDF) em 18 de maio de 2022 
  3. a b «History of Less Wrong». LessWrong (em inglês). Consultado em 22 de março de 2022. Cópia arquivada em 18 de março de 2022 
  4. a b c d e Paul-Choudhury, Sumit (1 de agosto de 2019). «Tomorrow's Gods: What is the future of religion?». BBC News (em inglês). Consultado em 6 de julho de 2022. Cópia arquivada em 1 de setembro de 2020 
  5. a b «Basilisco de Roko: e se nossa realidade fosse uma simulação?». Mega Curioso - As curiosidades mais interessantes estão aqui. 23 de outubro de 2021. Consultado em 14 de setembro de 2023 
  6. a b c d e «A terrível verdade por trás do basilisco de Roko: você está preparado?». Santique.com.br | Tudo o que você gosta. Consultado em 14 de setembro de 2023 
  7. a b c d e f g h i j k l m n o p Auerbach, David (17 de julho de 2014). «The Most Terrifying Thought Experiment of All Time». Slate (em inglês). Consultado em 24 de março de 2022. Cópia arquivada em 25 de outubro de 2018 
  8. a b c d e f g h i j Oberhaus, Daniel (8 de maio de 2018). «Explaining Roko's Basilisk, the Thought Experiment That Brought Elon Musk and Grimes Together». Vice (em inglês). Consultado em 22 de março de 2022. Cópia arquivada em 12 de abril de 2022 
  9. EliezerYudkowsky (7 de agosto de 2014). «Roko's Basilisk». r/Futurology (em inglês). Consultado em 20 de outubro de 2022. Cópia arquivada em 3 de julho de 2022 
  10. Lewis-Kraus, Gideon (9 de julho de 2020). «Slate Star Codex and Silicon Valley's War Against the Media». The New Yorker (em inglês). Consultado em 6 de novembro de 2022. Cópia arquivada em 10 de julho de 2020 
  11. a b Yudkowsky, Eliezer (2004). «Coherent Extrapolated Volition» (PDF). Machine Intelligence Research Institute (em inglês). Consultado em 2 de julho de 2022. Cópia arquivada (PDF) em 30 de setembro de 2015 
  12. Yudkowsky, Eliezer (2010). «Timeless Decision Theory» (PDF). Machine Intelligence Research Institute (em inglês). Consultado em 2 de julho de 2022. Cópia arquivada (PDF) em 19 de julho de 2014 
  13. Westfahl, Gary (2021). Science Fiction Literature Through History: An Encyclopedia (em English). [S.l.]: Bloomsbury Publishing USA. ISBN 978-1-4408-6617-3. OCLC 1224044572. Consultado em 20 de outubro de 2022. Cópia arquivada em 3 de julho de 2022 
  14. Haider, Shuja (28 de março de 2017). «The Darkness at the End of the Tunnel: Artificial Intelligence and Neoreaction». Viewpoint Magazine (em inglês). Consultado em 21 de outubro de 2022. Cópia arquivada em 21 de outubro de 2022 
  15. Roko (23 de julho de 2010). «Solutions to the Altruist's burden: the Quantum Billionaire Trick» (em inglês). Cópia arquivada em 22 de outubro de 2022 
  16. Zoda, Gregory Michael (2021). «Hyperstitional Communication and the Reactosphere: The Rhetorical Circulation of Neoreactionary Exit» (PDF) (em inglês). Baylor University. pp. 150–152. Consultado em 6 de novembro de 2022. Cópia arquivada (PDF) em 6 de novembro de 2022 
  17. «FUTURE SHOCK: Why was amateur philosopher's 'theory of everything' so disturbing that it was banned?». HeraldScotland (em inglês). 10 de novembro de 2018. Consultado em 22 de outubro de 2022. Cópia arquivada em 23 de outubro de 2022 
  18. Simon, Ed (28 de março de 2019). «Sinners in the Hands of an Angry Artificial Intelligence». ORBITER (em inglês). Consultado em 22 de outubro de 2022. Cópia arquivada em 20 de outubro de 2022 
  19. «archive.ph». archive.ph (em inglês). Consultado em 27 de outubro de 2022. Cópia arquivada em 24 de junho de 2013 
  20. Singler, Beth (2017). «Roko's Basilisk or Pascal's? Thinking of Singularity Thought Experiments as Implicit Religion». Implicit Religion (em inglês) (3): 279–297. ISSN 1743-1697. doi:10.1558/imre.35900. Consultado em 21 de outubro de 2022. Cópia arquivada em 9 de outubro de 2022 
  21. Yudkowsky, Eliezer (7 de agosto de 2014). «Roko's Basilisk». Reddit. Consultado em 20 de outubro de 2022. Cópia arquivada em 3 de julho de 2022 
  22. a b Pappas, Stephanie (9 de maio de 2018). «This Horrifying AI Thought Experiment Got Elon Musk a Date». Live Science (em inglês). Consultado em 12 de abril de 2022. Cópia arquivada em 1 de junho de 2022 
  23. «Qué es el Basilisco de Roko, el experimento mental que unió a Elon Musk y la cantante Grimes». BBC News Mundo (em espanhol). Consultado em 14 de setembro de 2023 
  24. a b Shardelow, Cole (2021). «Avoiding the Basilisk: An Evaluation of Top-Down, Bottom-Up, and Hybrid Ethical Approaches to Artificial Intelligence». University of Nebraska-Lincoln (em inglês): 4–7. Consultado em 2 de julho de 2022. Cópia arquivada em 7 de maio de 2022 
  25. «Bayes' Theorem Definition». Investopedia (em inglês). Consultado em 24 de março de 2022. Cópia arquivada em 19 de fevereiro de 2022 
  26. «Newcomb's problem divides philosophers. Which side are you on?». the Guardian (em inglês). 28 de novembro de 2016. Consultado em 21 de outubro de 2022. Cópia arquivada em 24 de outubro de 2022 
  27. Ward, Sophie (17 de maio de 2018). «Elon Musk, Grimes, and the philosophical thought experiment that brought them together». The Conversation (em inglês). Consultado em 21 de outubro de 2022. Cópia arquivada em 20 de outubro de 2022 
  28. «Implicit Religion | Encyclopedia.com». www.encyclopedia.com (em inglês). Consultado em 21 de outubro de 2022. Cópia arquivada em 21 de outubro de 2022 
  29. Singler, Beth (22 de maio de 2018). «Roko's Basilisk or Pascal's? Thinking of Singularity Thought Experiments as Implicit Religion». Implicit Religion (em inglês). 20 (3): 279–297. ISSN 1743-1697. doi:10.1558/imre.35900. Consultado em 21 de outubro de 2022. Cópia arquivada em 9 de outubro de 2022 
  30. «The existential paranoia fueling Elon Musk's fear of AI». Document Journal (em inglês). 9 de abril de 2018. Consultado em 21 de outubro de 2022. Cópia arquivada em 20 de outubro de 2022 
  31. «Will artificial intelligence destroy humanity?». news.com.au (em inglês). 15 de abril de 2018. Consultado em 21 de outubro de 2022. Cópia arquivada em 3 de dezembro de 2022 
  32. Asimov, Isaac (2015). Eu, Robô. [S.l.]: Aleph 
  33. «Less Wrong: Solutions to the Altruist's burden: the Quantum Billionaire Trick». basilisk.neocities.org (em inglês). Consultado em 25 de março de 2022. Cópia arquivada em 23 de maio de 2022 
  34. Kaplan, Anna (10 de março de 2022). «Elon Musk And Grimes Announce Second Child, Exa Dark». Forbes (em inglês). Consultado em 6 de julho de 2022. Cópia arquivada em 20 de outubro de 2022 
  35. Brown, Mike (29 de novembro de 2018). «Grimes: Elon Musk Shares "Roko's Basilisk"-Theme Song "We Appreciate Power"». Inverse (em inglês). Consultado em 21 de outubro de 2022. Cópia arquivada em 20 de outubro de 2022 
  36. Thal, Ian (16 de julho de 2018). «2018 Capital Fringe Review: 'Roko's Basilisk'». DC Theater Arts (em inglês). Consultado em 21 de outubro de 2022. Cópia arquivada em 21 de outubro de 2022 
  37. Goldstein, Allie (18 de julho de 2018). «Capital Fringe 2018: Roko's Basilisk Tackles Intriguing Ideas With Mixed Results». DCist (em inglês). Consultado em 21 de outubro de 2022. Cópia arquivada em 20 de outubro de 2022 

Leitura adicional editar

Ligações externas editar