Em formação

Como comparar tarefas concluídas por arquiteturas neurais de forma objetiva?

Como comparar tarefas concluídas por arquiteturas neurais de forma objetiva?


We are searching data for your request:

Forums and discussions:
Manuals and reference books:
Data from registers:
Wait the end of the search in all databases.
Upon completion, a link will appear to access the found materials.

Quando vi pela primeira vez este vídeo de Spaun e as tarefas que ele pode realizar (resolver o problema das Torres de Hanoi, completar as matrizes Raven), fiquei realmente impressionado, mas então percebi que não sabia realmente quais outras tarefas estavam sendo concluídas por outras arquiteturas neurais. Consequentemente, quase fiz uma pergunta aqui que era basicamente "Como o Spaun se compara em termos de complexidade de tarefa com outras arquiteturas neurais?". No entanto, percebi que seria melhor se eu pudesse aprender como fazer essa avaliação sozinho.

Então, quais métricas ou heurísticas podem ser usadas para avaliar a complexidade de uma tarefa concluída por uma arquitetura neural? Como avaliar a complexidade de um problema / quebra-cabeça como na Torre de Hanói, para outro problema, como modelar como as pessoas resolvem equações algébricas, como o ACT-R conseguiu?


Mais de dois anos depois, agora tenho uma heurística (que é o mais próximo que posso chegar de uma métrica objetiva) na qual confio. Como escrevo em um de meus posts, existem algumas tarefas que os humanos são capazes de realizar e que ainda são muito difíceis para as máquinas. Eles exigem o seguinte para uma máquina (ou um modelo neural):

  • Equilibrando o planejamento e a exploração: Modelar o estado futuro do ambiente e os possíveis estados futuros por meio da exploração de forma eficiente.
  • Escalando habilidades: Transferir habilidades entre tarefas e desenvolver habilidades mais complexas além das básicas.
  • Representação do Conhecimento: Manter relações entre habilidades, variáveis ​​ambientais, conhecimentos anteriores e prioridades, tudo organizado de forma útil.

Qualquer modelo neural que comece a alavancar essas coisas é avaliado como impressionante aos meus olhos.

No entanto, esses requisitos são principalmente para Inteligência Artificial. E quanto aos modelos neurais, especificamente? Todos os modelos neurais que completam uma tarefa são, por definição, modelos cognitivos, portanto, além dos critérios acima, eles devem satisfazer vários Critérios Cognitivos para provar que o sistema está alcançando seus objetivos de maneira humana.


Referências

Mathis, A. et al. DeepLabCut: estimativa de pose sem marcador de partes do corpo definidas pelo usuário com aprendizado profundo. Nat. Neurosci. 21, 1281–1289 (2018).

Steinmetz, N. A., Koch, C., Harris, K. D. & amp Carandini, M. Desafios e oportunidades para eletrofisiologia em grande escala com sondas de Neuropixels. Curr. Opin. Neurobiol. 50, 92–100 (2018).

Marder, E. & amp Bucher, D. Geradores de padrão central e o controle dos movimentos rítmicos. Curr. Biol. 11, R986 – R996 (2001).

Cullen, K. E. O sistema vestibular: integração multimodal e codificação de movimento automático para controle motor. Trends Neurosci. 35, 185–196 (2012).

Kim, J. S. et al. A especificidade da fiação espaço-tempo oferece suporte à seletividade de direção na retina. Natureza 509, 331–336 (2014).

Olshausen, B.A. & amp Field, D.J. O que os outros 85% de V1 estão fazendo? em 23 Problemas em neurociência de sistemas (eds van Hemmen, J. L. & amp Sejnowski, T. J.) 182–211 (Oxford Univ. Press, 2006).

Thompson, L. T. & amp Best, P. J. Colocar células e células silenciosas no hipocampo de ratos de comportamento livre. J. Neurosci. 9, 2382–2390 (1989).

Yamins, D. L. K. & amp DiCarlo, J. J. Usando modelos de aprendizagem profunda orientados por objetivos para compreender o córtex sensorial. Nat. Neurosci. 19, 356–365 (2016).

Botvinick, M. et al. Aprendizagem por reforço, rápida e lenta. Trends Cogn. Sci. 23, 408–422 (2019).

Kriegeskorte, N. e Douglas, P. K. Cognitive computational neurcience. Nat. Neurosci. 21, 1148–1160 (2018).

Rumelhart, D. E., McClelland, J. L. & amp PDP Research Group. Processamento Distribuído Paralelo (MIT Press, 1988).

Sacramento, J., Costa, R. P., Bengio, Y. & amp Senn, W. Dendritic cortical microcircuits aproximam o algoritmo de retropropagação. Adv. Neural Inf. Proc. Sys. 31, 8735–8746 (2018).

Poirazi, P., Brannon, T. & amp Mel, B. W. Pyramidal neuron as two-layer neural network. Neurônio 37, 989–999 (2003).

Guerguiev, J., Lillicrap, T. P. & amp Richards, B. A. Towards deep learning with segregated dendrites. eLife 6, e22901 (2017).

Goodfellow, I., Bengio, Y. & amp Courville, A. Aprendizado Profundo (MIT Press, 2016).

Cichy, R. M., Khosla, A., Pantazis, D., Torralba, A. & amp Oliva, A. A comparação de redes neurais profundas com a dinâmica cortical espaço-temporal do reconhecimento de objeto visual humano revela correspondência hierárquica. Sci. Rep. 6, 27755 (2016).

Kell, A. J. E., Yamins, D. L. K., Shook, E. N., Norman-Haignere, S. V. & amp McDermott, J. H. Uma rede neural otimizada por tarefa replica o comportamento auditivo humano, prevê respostas cerebrais e revela uma hierarquia de processamento cortical. Neurônio 98, 630–644.e16 (2018).

Richards, B. A. & amp Lillicrap, T. P. Soluções dendríticas para o problema de atribuição de crédito. Curr. Opin. Neurobiol. 54, 28–36 (2019).

Roelfsema, P. R. & amp Holtmaat, A. Controle de plasticidade sináptica em redes corticais profundas. Nat. Rev. Neurosci. 19, 166–180 (2018).

Krizhevsky, A., Sutskever, I. & amp Hinton, G. E. Classificação ImageNet com redes neurais convolucionais profundas. Adv. Neural Inf. Proc. Sys. 25, 1097–1105 (2012).

Hannun, A. et al. Fala profunda: ampliação do reconhecimento de fala ponta a ponta. Pré-impressão em arXiv https://arxiv.org/abs/1412.5567 (2014).

Radford, A. et al. Melhores modelos de linguagem e suas implicações. OpenAI Blog https://openai.com/blog/better-language-models/ (2019).

Gao, Y., Hendricks, L.A., Kuchenbecker, K.J. & amp Darrell, T. Aprendizagem profunda para compreensão tátil de dados visuais e táteis. no Conferência Internacional IEEE sobre Robótica e Automação (ICRA) 536–543 (2016).

Banino, A. et al. Navegação baseada em vetores usando representações em forma de grade em agentes artificiais. Natureza 557, 429–433 (2018).

Finn, C., Goodfellow, I. & amp Levine, S. Unsupervised learning for Physical Interaction through Video Prediction. Adv. Neural Inf. Proc. Sys. 29, 64–72 (2016).

Silver, D. et al. Dominar o jogo Go sem conhecimento humano. Natureza 550, 354–359 (2017).

Santoro, A. et al. Um módulo de rede neural simples para raciocínio relacional. Adv. Neural Inf. Proc. Sys. 30, 4967–4976 (2017).

Khaligh-Razavi, S.-M. & amp Kriegeskorte, N. Modelos supervisionados em profundidade, mas não não supervisionados, podem explicar a representação cortical de TI. PLoS Comput. Biol. 10, e1003915 (2014).

Bashivan, P., Kar, K. & amp DiCarlo, J. J. Controle de população neural via síntese de imagem profunda. Ciência 364, eaav9436 (2019).

Pospisil, D. A., Pasupathy, A. & amp Bair, W. ‘Artiphysiology’ revela o ajuste de forma semelhante ao V4 em uma rede profunda treinada para classificação de imagens. eLife 7, e38242 (2018).

Singer, Y. et al. O córtex sensorial é otimizado para predizer informações futuras. eLife 7, e31557 (2018).

Watanabe, E., Kitaoka, A., Sakamoto, K., Yasugi, M. & amp Tanaka, K. Movimento ilusório reproduzido por redes neurais profundas treinadas para predição. Frente. Psychol. 9, 345 (2018).

Wang, J. X. et al. O córtex pré-frontal como sistema de aprendizagem de meta-reforço. Nat. Neurosci. 21, 860–868 (2018).

Scellier, B. & amp Bengio, Y. Equilibrium propagation: colmatando a lacuna entre modelos baseados em energia e retropropagação. Frente. Comput. Neurosci. 11, 24 (2017).

Whittington, J. C. R. & amp Bogacz, R. Uma aproximação do algoritmo de retropropagação de erro em uma rede de codificação preditiva com plasticidade sináptica hebbian local. Neural Comput. 29, 1229–1262 (2017).

Lillicrap, T. P., Cownden, D., Tweed, D. B. & amp Akerman, C. J. Pesos de feedback sináptico aleatório suportam retropropagação de erro para aprendizagem profunda. Nat. Comum. 7, 13276 (2016).

Roelfsema, P. R. & amp van Ooyen, A. Aprendizagem por reforço com restrição de atenção de representações internas para classificação. Neural Comput. 17, 2176–2214 (2005).

Pozzi, I., Bohté, S. & amp Roelfsema, P. A regra de aprendizagem biologicamente plausível para aprendizagem profunda no cérebro. Pré-impressão em arXiv https://arxiv.org/abs/1811.01768 (2018).

Körding, K. P. & amp König, P. Aprendizagem supervisionada e não supervisionada com dois locais de integração sináptica. J. Comput. Neurosci. 11, 207–215 (2001).

Marblestone, A. H., Wayne, G. & amp Kording, K. P. Para uma integração de aprendizagem profunda e neurociência. Frente. Comput. Neurosci. 10, 94 (2016).

Raman, D. V., Rotondo, A. P. & amp O’Leary, T. Fundamental bounds on learning performance in neural circuits. Proc. Natl Acad. Sci. EUA 116, 10537–10546 (2019).

Neyshabur, B., Li, Z., Bhojanapalli, S., LeCun, Y. & amp Srebro, N. The role of over-parametrization in generalization of neural networks. no Conferência Internacional sobre Representações de Aprendizagem (ICLR) 2019 https://openreview.net/forum?id=BygfghAcYX (2019).

Wolpert, D. H. & amp Macready, W. G. Nenhum teorema do almoço grátis para otimização. IEEE Trans. Evol. Comput. 1, 67–82 (1997).

Bengio, Y. & amp LeCun, Y. Escalando algoritmos de aprendizagem para IA. no Máquinas Kernel em Grande Escala (eds Bottou, L., Chapelle, O., DeCoste, D. & amp Weston, J.) capítulo 14 (MIT Press, 2007).

Neyshabur, B., Tomioka, R. & amp Srebro, N. Em busca do viés indutivo real: sobre o papel da regularização implícita na aprendizagem profunda. Pré-impressão em arXiv https://arxiv.org/abs/1412.6614 (2014).

Snell, J., Swersky, K. & amp Zemel, R. Prototypical networks for few-shot learning. Adv. Neural Inf. Proc. Sys. 30, 4077–4087 (2017).

Ravi, S. & amp Larochelle, H. Optimization as a model for few-shot learning.in Conferência Internacional sobre Representações de Aprendizagem (ICLR) 2017 https://openreview.net/forum?id=rJY0-Kcll (2017).

Zador, A. M. Uma crítica da aprendizagem pura e o que as redes neurais artificiais podem aprender com os cérebros dos animais. Nat. Comum. 10, 3770 (2019).

Bellec, G., Salaj, D., Subramoney, A., Legenstein, R. & amp Maass, W. Long short term memory and learning-to-learn in networks of spiking neurons. Adv. Neural Inf. Proc. Sys. 31, 787–797 (2018).

Huang, Y. & amp Rao, R. P. N. Predictive coding. Wiley Interdiscip. Rev. Cogn. Sci. 2, 580–593 (2011).

Williams, R. J. Algoritmos estatísticos simples de seguimento de gradiente para aprendizagem por reforço conexionista. Mach. Aprender. 8, 229–256 (1992).

Klyubin, A.S., Polani, D. & amp Nehaniv, C.L. Empowerment: Uma medida universal de controle centrada no agente. no Congresso IEEE 2005 sobre Computação Evolutiva 128–135 (IEEE, 2005).

Salge, C., Glackin, C. & amp Polani, D. Empowerment – ​​an Introduction. no Auto-organização guiada: início (ed. Prokopenko, M.) 67-114 (Springer, 2014).

Newell, A. & amp Simon, H.A. GPS, um programa que simula o pensamento humano. https://apps.dtic.mil/docs/citations/AD0294731 (RAND Corp., 1961).

Nguyen, A., Yosinski, J. & amp Clune, J. Understanding neural networks via feature visualization: a survey. Pré-impressão em arXiv https://arxiv.org/abs/1904.08939 (2019).

Kebschull, J. M. et al. Mapeamento de alto rendimento de projeções de neurônio único por sequenciamento de RNA com código de barras. Neurônio 91, 975–987 (2016).

Kornfeld, J. & amp Denk, W. Progresso e desafios restantes em microscopia eletrônica de volume de alto rendimento. Curr. Opin. Neurobiol. 50, 261–267 (2018).

Lillicrap, T. P. & amp Kording, K. P. O que significa entender uma rede neural? Pré-impressão em arXiv https://arxiv.org/abs/1907.06374 (2019).

Olshausen, B.A. & amp Field, D.J. Estatísticas de imagens naturais e codificação eficiente. Rede 7, 333–339 (1996).

Hyvärinen, A. & amp Oja, E. Simple neuron models for independent component analysis. Int. J. Neural Syst. 7, 671–687 (1996).

Oja, E. Um modelo de neurônio simplificado como analisador de componente principal. J. Math. Biol. 15, 267–273 (1982).

Intrator, N. & amp Cooper, L. N. Formulação da função objetivo da teoria BCM da plasticidade cortical visual: conexões estatísticas, condições de estabilidade. Neural Netw. 5, 3–17 (1992).

Fiser, A. et al. Expectativas espaciais dependentes da experiência no córtex visual do camundongo. Nat. Neurosci. 19, 1658–1664 (2016).

Schultz, W., Dayan, P. & amp Montague, P. R. Um substrato neural de predição e recompensa. Ciência 275, 1593–1599 (1997).

Momennejad, I. et al. A representação do sucessor na aprendizagem por reforço humano. Nat. Zumbir. Behav. 1, 680–692 (2017).

Nayebi, A. et al. Modelos recorrentes convolucionais orientados por tarefas do sistema visual. Adv. Neural Inf. Proc. Sys. 31, 5290–5301 (2018).

Schrimpf, M. et al. Brain-Score: qual rede neural artificial para reconhecimento de objetos é mais parecida com o cérebro? Pré-impressão em bioRxiv https://doi.org/10.1101/407007 (2018).

Kepecs, A. & amp Fishell, G. Os tipos de células interneuron são adequados para funcionar. Natureza 505, 318–326 (2014).

Van Essen, D.C. & amp Anderson, C.H. Estratégias e vias de processamento de informação no sistema visual dos primatas. no Redes Neurais: Fundamentos para Aplicações. Uma introdução às redes neurais e eletrônicas (eds Zornetzer, S.F., Davis, J.L., Lau, C. & amp McKenna, T.) 45-76 (Academic Press, 1995).

Lindsey, J., Ocko, S. A., Ganguli, S. & amp Deny, S. Uma teoria unificada das primeiras representações visuais da retina ao córtex através de CNNs profundos anatomicamente restritos. no Inscrições para cegos na Conferência Internacional sobre Representações de Aprendizagem (ICLR) https://openreview.net/forum?id=S1xq3oR5tQ (2019).

Güçlü, U. & amp van Gerven, M. A. Redes neurais profundas revelam um gradiente na complexidade das representações neurais através do fluxo ventral. J. Neurosci. 35, 10005–10014 (2015).

Kwag, J. & amp Paulsen, O. O tempo de entrada externa controla o sinal de plasticidade nas sinapses locais. Nat. Neurosci. 12, 1219–1221 (2009).

Bittner, K. C., Milstein, A. D., Grienberger, C., Romani, S. & amp Magee, J. C. Behavioral time scale synaptic plasticity underlies CA1 place fields. Ciência 357, 1033–1036 (2017).

Lacefield, C. O., Pnevmatikakis, E. A., Paninski, L. & amp Bruno, R. M. Reinforcement learning recrutas somata e dendritos apicais através de camadas do córtex sensorial primário. Cell Rep. 26, 2000–2008.e2 (2019).

Williams, L. E. & amp Holtmaat, A. Higher-order thalamocortical inputs gate synaptic long-term potentiation via disinhibition. Neurônio 101, 91–102.e4 (2019).

Yagishita, S. et al. Uma janela de tempo crítica para as ações da dopamina na plasticidade estrutural das espinhas dendríticas. Ciência 345, 1616–1620 (2014).

Lim, S. et al. Inferir regras de aprendizagem de distribuições de taxas de disparo em neurônios corticais. Nat. Neurosci. 18, 1804–1810 (2015).

Costa, R. P. et al. A otimização da transmissão sináptica prediz loci de expressão de plasticidade de longo prazo. Neurônio 96, 177–189.e7 (2017).

Zolnik, T. A. et al. Mapeamento de conectividade sináptica funcional totalmente óptica em fatias cerebrais agudas usando o integrador de cálcio CaMPARI. J. Physiol. (Londres) 595, 1465–1477 (2017).

Scott, S. H. Controle de feedback ideal e a base neural do controle motor volicional. Nat. Rev. Neurosci. 5, 532–546 (2004).

Krakauer, J. W., Ghazanfar, A. A., Gomez-Marin, A., MacIver, M. A. & amp Poeppel, D. Neuroscience needs behaviour: corrigindo um viés reducionista. Neurônio 93, 480–490 (2017).

Zylberberg, J., Murphy, J. T. & amp DeWeese, M. R. Um modelo de codificação esparso com plasticidade local sináptica e neurônios spiking pode ser responsável pelas diversas formas dos campos receptores de células simples V1. PLoS Comput. Biol. 7, e1002250 (2011).

Chalk, M., Tkačik, G. & amp Marre, O. Inferindo a função realizada por uma rede neural recorrente. Pré-impressão em bioRxiv https://doi.org/10.1101/598086 (2019).

Cadieu, C. F. et al. Redes neurais profundas rivalizam com a representação do córtex TI de primatas para reconhecimento de objetos visuais centrais. PLoS Comput. Biol. 10, e1003963 (2014).

Golub, M. D. et al. Aprendizagem por reassociação neural. Nat. Neurosci. 21, 607–616 (2018).

Fukushima, K. Neocognitron: um modelo de rede neural auto-organizado para um mecanismo de reconhecimento de padrões não afetado pela mudança de posição. Biol. Cybern. 36, 193–202 (1980).

Vogels, T. P., Rajan, K. & amp Abbott, L. F. Neural network dynamics. Annu. Rev. Neurosci. 28, 357–376 (2005).

Koren, V. & amp Denève, S. Computational account of spontaneous activity as a signature of preditive coding. PLoS Comput. Biol. 13, e1005355 (2017).

Advani, M. S. & amp Saxe, A. M. Dinâmica de alta dimensão de erro de generalização em redes neurais. Pré-impressão em arXiv https://arxiv.org/abs/1710.03667 (2017).

Amit, Y. Aprendizado profundo com conexões assimétricas e atualizações Hebbian. Frente. Comput. Neurosci. 13, 18 (2019).

Lansdell, B. & amp Kording, K. Spiking permite aos neurônios estimar seu efeito causal. Pré-impressão em bioRxiv https://doi.org/10.1101/253351 (2018).

Werfel, J., Xie, X. & amp Seung, H. S. Learning curves for stochastic gradiente descent in linear feedforward networks. Adv. Neural Inf. Proc. Sys. 16, 1197–1204 (2004).

Samadi, A., Lillicrap, T. P. & amp Tweed, D. B. Aprendizagem profunda com neurônios de spiking dinâmico e pesos de feedback fixos. Neural Comput. 29, 578–602 (2017).

Akrout, M., Wilson, C., Humphreys, P. C., Lillicrap, T. & amp Tweed, D. Usando espelhos de peso para melhorar o alinhamento de feedback. Pré-impressão em arXiv https://arxiv.org/abs/1904.05391 (2019).

Bartunov, S. et al. Avaliação da escalabilidade de algoritmos e arquiteturas de aprendizado profundo com motivação biológica. Adv. Neural Inf. Proc. Sys. 31, 9368–9378 (2018).

MacKay, D.J. Teoria da Informação, Inferência e Algoritmos de Aprendizagem (Cambridge University Press, 2003).

Goel, V., Weng, J. & amp Poupart, P. Unsupervised video object segmentation for deep reforço learning. Adv. Neural Inf. Proc. Sys. 31, 5683–5694 (2018).

LeCun, Y. & amp Bengio, Y. Redes convolucionais para imagens, voz e séries temporais. no O Manual de Teoria do Cérebro e Redes Neurais (ed. Arbib, M. A.) 276-279 (MIT Press, 1995).

Chorowski, J. K., Bahdanau, D., Serdyuk, D., Cho, K. & amp Bengio, Y. Modelos baseados na atenção para reconhecimento de fala. Adv. Neural Inf. Proc. Sys. 28, 577–585 (2015).

Houthooft, R. et al. Vime: informação variacional maximizando a exploração. Adv. Neural Inf. Proc. Sys. 29, 1109–1117 (2016).


PyTorch, MLflow e amp Optuna: acompanhamento de experimentos e otimização de hiperparâmetros

Neste tutorial, treinamos um modelo de rede neural PyTorch usando MLflow para rastreamento de experimentos e Optuna para otimização de hiperparâmetros. O tutorial pressupõe que você tenha alguma experiência anterior com Python e ciência de dados, especificamente (rede neural) treinamento de modelos.

  • Se você quiser pular o tutorial e ir direto para o código: aqui está. é uma plataforma que permite o gerenciamento de ponta a ponta de projetos de Data Science. Neste guia, examinaremos alguns de seus componentes de rastreamento de experimentos. é uma estrutura modular de otimização de hiperparâmetros criada especialmente para projetos de aprendizado de máquina. Vamos usá-lo em combinação com o MLflow para encontrar e rastrear bons hiperparâmetros para nosso modelo de rede neural. é uma estrutura popular de aprendizado profundo que usaremos para criar uma Rede Neural Convolucional (CNN) simples e treiná-la para classificar os números no conjunto de dados de dígitos escritos à mão MNIST.

Principais vantagens

A aprendizagem por transferência, como vimos até agora, é ter a capacidade de utilizar o conhecimento existente do aluno de origem na tarefa alvo. Durante o processo de transferência de aprendizagem, as seguintes três questões importantes devem ser respondidas:

  • O que transferir: Esta é a primeira e mais importante etapa de todo o processo. Procuramos buscar respostas sobre quais partes do conhecimento podem ser transferidas da origem para o destino, a fim de melhorar o desempenho da tarefa-alvo. Ao tentar responder a esta pergunta, tentamos identificar qual parte do conhecimento é específica da fonte e o que é comum entre a fonte e o destino.
  • Quando transferir: Pode haver cenários em que transferir conhecimento apenas para torná-lo pior do que melhorar qualquer coisa (também conhecido como transferência negativa). Devemos ter como objetivo utilizar a aprendizagem por transferência para melhorar o desempenho / resultados da tarefa alvo e não degradá-los. Precisamos ter cuidado sobre quando transferir e quando não.
  • Como transferir: Uma vez o o que e quando foram respondidas, podemos prosseguir no sentido de identificar maneiras de realmente transferir o conhecimento entre domínios / tarefas. Isso envolve alterações em algoritmos existentes e técnicas diferentes, que abordaremos em seções posteriores deste artigo. Além disso, estudos de caso específicos são alinhados no final para uma melhor compreensão de como fazer a transferência.

Isso deve nos ajudar a definir os vários cenários onde a aprendizagem por transferência pode ser aplicada e as técnicas possíveis, que discutiremos na próxima seção.


Treinando um modelo de resposta a perguntas

Estaremos usando a biblioteca de Transformadores do Hugging Face para treinar nosso modelo de controle de qualidade. Também usaremos BioBERT, que é um modelo de linguagem baseado em BERT, com a única diferença de que foi ajustado com objetivos MLM e NSP em diferentes combinações de corpora de domínio biomédico e geral. Domínios diferentes têm jargões e termos específicos que ocorrem muito raramente no inglês padrão e, se ocorrerem, podem significar coisas diferentes ou implicar contextos diferentes. Conseqüentemente, modelos como BioBERT, LegalBERT, etc. foram treinados para aprender essas nuances do texto específico do domínio para que as tarefas de PNL específicas do domínio pudessem ser realizadas com melhor precisão.

Aqui, pretendemos usar o modelo de controle de qualidade para extrair informações relevantes da literatura de pesquisa do COVID-19. Portanto, faremos o ajuste fino do BioBERT usando a biblioteca de transformadores da Hugging Face em dados SQuADv2.

Na seção de exemplos do repositório Transformers, Hugging Face já forneceu um script, run_squad.py, para treinar o modelo QA em dados SQuAD. Este script pode ser executado facilmente usando o comando abaixo.

Você também pode executar o código gratuitamente em um Gradient Community Notebook no ML Showcase.

Pode-se entender a maioria dos parâmetros de seus nomes. Para obter mais detalhes sobre os parâmetros e uma lista exaustiva de parâmetros que podem ser ajustados, pode-se consultar o script run_squad.py.

Usando este script, o modelo pode ser facilmente ajustado para executar a tarefa de controle de qualidade. No entanto, a execução desse script exige muita RAM, porque squad_convert_examples_to_features tenta processar os dados SQuAD completos de uma vez e requer mais de 12 GB de RAM. Portanto, modifiquei load_and_cache_examples e adicionei uma nova função chamada read_saved_data que pode processar dados SQuAD em lotes. Você pode verificar esses métodos abaixo.


Motivação

A correspondência de isomorfismo de subgrafo é um dos fundamentos NP- problemas completos em ciência da computação teórica e aplicações surgem em quase todas as situações em que a modelagem de rede é feita.

  • Nas ciências sociais, a análise de subgráficos desempenhou um papel importante na análise dos efeitos de rede nas redes sociais.
  • Os sistemas de recuperação de informações usam estruturas de subgráficos em gráficos de conhecimento para sumarização semântica, raciocínio por analogia e previsão de relacionamento.
  • Em química, a correspondência de subgráficos é um método robusto e preciso para determinar a similaridade entre compostos químicos.
  • Em biologia, a correspondência de subgráficos é de importância central na análise de redes de interação proteína-proteína, onde identificar e prever motivos funcionais é uma ferramenta primária para a compreensão de mecanismos biológicos, como doenças subjacentes, envelhecimento e medicina.

Um modelo eficiente e preciso para o problema de correspondência de subgráficos poderia conduzir a pesquisa em todos esses domínios, fornecendo insights sobre subestruturas importantes dessas redes, que têm sido tradicionalmente limitadas pela qualidade de seus algoritmos aproximados ou pelo tempo de execução de algoritmos exatos.


Materiais e métodos

Participantes

Um total de vinte participantes (14 homens 6 mulheres) recrutados em uma universidade local participaram do presente estudo. Os participantes receberam uma compensação monetária por sua participação. Todos os participantes completaram com sucesso todo o experimento e foram incluídos nas análises de dados. A idade média dos participantes foi de 26,7 anos (desvio padrão, SD = 4,37). Os participantes relataram estar livres de quaisquer distúrbios médicos ou neurológicos e tinham visão normal ou corrigida. Os participantes deram seu consentimento por escrito após uma explicação detalhada do procedimento experimental que foi analisado e aprovado pelo Conselho de Revisão Institucional da Universidade & # x02019s. Todos os participantes não tinham experiência com o sistema AF-MATB antes deste treinamento, portanto, o nível de proficiência antes do treinamento era considerado o mesmo para todos os participantes.


Lista de arquiteturas de aprendizado profundo

Agora que entendemos o que é uma arquitetura avançada e exploramos as tarefas da visão computacional, vamos listar as arquiteturas mais importantes e suas descrições:

1. AlexNet

AlexNet é a primeira arquitetura profunda introduzida por um dos pioneiros no aprendizado profundo & # 8211 Geoffrey Hinton e seus colegas. É uma arquitetura de rede simples, mas poderosa, que ajudou a pavimentar o caminho para pesquisas inovadoras em Deep Learning como está agora. Aqui está uma representação da arquitetura proposta pelos autores.


Métodos

Participantes

Para o Experimento 1, 32 participantes foram recrutados a partir de um banco de dados interno de participantes (15 mulheres, idade média = 30,3, faixa 21-51, SD = 9). Para o Experimento 2, os participantes foram recrutados no contexto do estudo longitudinal em grande escala Projeto de Reutilização (Vejo Materiais Suplementares para procedimento de triagem). Os dados de linha de base deste estudo foram usados. Trezentos e trinta e dois participantes foram recrutados para o Projeto de Reutilização, com 305 participantes completando o paradigma atual. Destes, cinco participantes foram excluídos por falta de dados auxiliares (questionário pós-varredura, ressonância magnética estrutural) e dificuldades técnicas. Quatro participantes relataram dificuldades (por exemplo, náusea ou sonolência) durante a sessão de digitalização e foram retirados da análise. Da amostra de 296 com dados completos, mais três participantes foram removidos devido a relatório comportamental aberrante e / ou qualidade de dados inaceitável após o pré-processamento (movimento de voxel & gt1, pontos de tempo corrompidos & gt5%, design VIF & gt 2), deixando uma amostra final de 293 (170 mulheres, idade média = 40,4, intervalo: 20-55, SD = 9,3). Todos os participantes tinham visão normal ou corrigida para normal. O estudo foi aprovado pelo Comitê de Ética da Universidade de Leipzig e Humboldt University, Berlin e foi realizado em conformidade com a Declaração de Helsinki. Todos os participantes deram consentimento informado por escrito, foram pagos por sua participação e foram informados após a conclusão do estudo.

Procedimento experimental fMRI

Antes da digitalização, os participantes foram submetidos a um procedimento de treinamento automatizado (ver Materiais Suplementares para detalhes), incluindo uma indução de emoção multimodal destinada a minimizar a variação entre os participantes em estados emocionais implementados. No Experimento 2, os participantes também foram instruídos no uso de quatro modalidades de geração (Semântica, Episódica, Auditiva e Corporal) e instruídos a selecionar em que grau cada uma delas seria usada no experimento seguinte de acordo com suas próprias preferências. Além disso, os participantes receberam uma série de estímulos neutros (por exemplo, fotos de cenários) e foram instruídos a atingir ativamente o tipo de estado emocional neutro que esses estímulos evocaram (ver Materiais Suplementares para detalhes). Os participantes foram instruídos a tentar atingir tais estados durante a condição neutra e também quando solicitados a diminuir a regulação de seus estados emocionais anteriormente gerados. Após a sessão de digitalização, os participantes foram informados. No Experimento 1, o debriefing verbal foi feito com um experimentador. No Experimento 2, os participantes relataram o grau em que usaram cada uma das modalidades de geração usando um Likert de nove pontos.

Cada ensaio (Figura 1A) começou com uma cruz de fixação branca de 4-6 s, indicando o início do ensaio. Em seguida, uma fase de geração de 10 s foi iniciada, na qual os indivíduos foram mostrados um símbolo colorido indicando qual estado emocional para gerar (vermelho menos = negativo, verde mais = positivo, azul 0 = neutro). Isso foi seguido por uma fase de modulação de 5 s, em que os participantes mantiveram a geração do estado emocional ou o reduziram para atingir um estado emocional neutro. Na condição Manter, o símbolo de instrução permaneceu o mesmo que na fase de Geração. Na condição de Regulação, o símbolo mudou para Azul 0. Finalmente, no Experimento 1 incluímos uma condição de teste parcial em que a sugestão de instrução mudou para uma cruz de fixação (condição de cessação Experimento 1 apenas). Para a condição Neutra, o símbolo não mudou, mas permaneceu Azul 0. Assim, o Experimento 1 consistiu em um total de sete condições diferentes (Manter Positivo / Negativo, Regular Positivo / Negativo, Cessar Positivo / Negativo e Neutro). O experimento 2 omitiu a condição de cessação e, portanto, teve um total de cinco condições. O Experimento 1 teve duas execuções de cinco tentativas por condição (35 por execução), enquanto o Experimento 2 teve uma única execução de 10 tentativas por condição (50 no total). A sequência de condições foi pseudo-randomizada, garantindo que não ocorressem repetições diretas das condições. Finalmente, uma cruz de fixação de 5 s foi apresentada seguida por uma apresentação de 5 s de uma escala de classificação visual analógica contínua variando de "Extremamente negativa" via "Neutro" a "Extremamente positiva" [faixa ± 251 do ponto neutro (0)]. A posição inicial do cursor foi agitada aleatoriamente em torno do ponto neutro. Os participantes responderam usando uma caixa de botão e o indicador e o dedo médio da mão direita. Os participantes foram orientados a relatar seu estado afetivo tal como se encontrava no momento do relato. Os estímulos foram retroprojetados usando uma configuração de espelho. A configuração da tarefa foi idêntica em ambos os experimentos, exceto pela omissão da condição Cessar no Experimento 2 devido a restrições de tempo.

Aquisição de ressonância magnética

Para ambos os experimentos, os dados de ressonância magnética foram adquiridos em um 3T Siemens Verio Scanner (Siemens Medical Systems, Erlangen, Alemanha) usando uma bobina de cabeça de 32 canais. Imagens estruturais de alta resolução foram adquiridas usando uma sequência de 3D-MPRAGE ponderada em T1 (TR = 2300 ms, TE = 2,98 ms, TI = 900 ms, ângulo de rotação = 7 °, iPat = 2 176 cortes sagitais, FOV = 256 mm, tamanho da matriz = 240 × 256, tempo total de aquisição de voxels de 1 ^ 3 mm = 5,10 min). Para a imagem funcional, empregamos uma sequência de gradiente EPI ponderada em T2 * que minimizou as distorções nas regiões orbitais mediais e temporais anteriores (TR = 2.000 ms, TE = 27 ms, ângulo de rotação = 90 °, iPat = 2 37 cortes inclinados ∼30 ° do plano axial AC / PC, FOV = 210 mm, tamanho da matriz = 70 × 70, 3 voxels de 3 mm, intervalo de 1 mm). Para o Experimento 2, adquirimos mapas de campo B0 usando uma sequência recuperada por gradiente de eco duplo com dimensões correspondentes às imagens EPI (TR = 517 ms, TE = 4,92 e 7,38 ms).

Pré-processamento de fMRI

O pré-processamento foi realizado usando uma combinação de funções SPM12 (r6225) e a caixa de ferramentas ArtRepair (Mazaika et al., 2005) em execução no Matlab 2013b. As imagens funcionais foram realinhadas (Experimento 1) ou realinhadas e não distorcidas para corrigir adicionalmente a distorção usando mapas de campo B0 (Experimento 2). Os procedimentos ArtRepair foram então empregados, incluindo detecção e reparo de artefato de corte usando interpolação (art_slice 5% cutoff), diagnósticos de série de tempo (art_global) identificando e reparando através de volumes de interpolação mostrando grande flutuação de intensidade global (& gt 1,3%), volume por- movimento de volume superior a 0,5 mm e movimento geral (& gt3 mm) e despiking com um corte de mudança de sinal de 5% (art_despike). As imagens estruturais T1 foram registradas para o volume médio realinhado e segmentadas. Usando procedimentos DARTEL (Ashburner, 2007), as imagens funcionais foram normalizadas e suavizadas com um kernel isotrópico de 8 mm FWHM.

Primeiroanálises de fMRI de nível

Os modelos de nível individual incluem conjuntos separados de regressores para a fase de geração e modulação. Para a fase de Geração, foram especificados três regressores correspondentes ao alvo emocional (Positivo, Negativo e Neutro) do ensaio. Para a fase de modulação, regressores separados foram especificados para cada condição. Assim, o modelo no Experimento 1 incluiu sete regressores [Valência (Positivo e Negativo) * Modulação (Manter, Cessar e Regular) + Neutro] para a fase de Modulação, para um total de 10 regressores O modelo no Experimento 2, onde a condição de Cessar foi omitido, incluídos cinco regressores para a fase de modulação, para um total de oito regressores.

Os regressores foram convolvidos com funções de resposta hemodinâmica canônica (HRFs) com uma duração de 10 s (geração) ou 5 s (modulação), bem como regressores especificando modulações paramétricas por avaliações de afeto subjetivo por teste. Um regressor adicional foi especificado para o período de Rating. Parâmetros de movimento derivados da etapa de realinhamento (seis regressores), suas derivadas e valores quadrados foram adicionados (24 regressores). Os potenciais confusos fisiológicos foram controlados pela adição de quatro regressores adicionais que refletem o sinal médio em volume da substância branca e líquido cefalorraquidiano, sinal global e curso de tempo de voxel de maior variância.

Análises de fMRI de segundo nível

Todas as segundas análises foram conduzidas usando regressão robusta (Wager et al., 2005), com covariáveis ​​de nenhum interesse codificando nível de excitação eleito, idade e sexo. Os modelos de segundo nível para o Experimento 2 incluíram adicionalmente regressores que codificam o uso da modalidade de geração auto-relatada (quatro regressores) como covariáveis ​​contínuas.

Todos os resultados foram corrigidos para comparações múltiplas usando a correção da taxa de erro familiar de extensão do cluster (FWEc) em um alfa de P & lt 0,05, a menos que indicado de outra forma. As extensões do cluster foram estimadas usando simulação de Monte Carlo e suavidade intrínseca estimada [3DClustSim e 3DFWHMx do pacote AFNI (Forman et al., 1995)], conforme implementado em NeuroElf. Note that peak-forming thresholds were adapted for Experiments 1 (P < 0.001) and 2 (P < 0.00005) to account for differences in sample size. Correlational and mediation results also used a less strict peak threshold of P < 0.0005.

All analyses were masked with a gray matter template derived from the DARTEL created template, thresholded at 95% gray matter probability, supplemented by a hand-drawn masks of brainstem nuclei due to poor differentiation of white from gray matter in these regions.

Constrained principal component analysis

In Experiment 2, we adopted a data-driven approach using constrained principal components analysis (CPCA see Woodward et al., 2013 for details) of fMRI time series using the CPCA-fMRI package (www.nitrc.org/projects/fmricpca). CPCA analysis of fMRI data is a multivariate method that involves a singular value decomposition of BOLD time series to identify functional networks followed by an estimation of BOLD change in each network over peristimulus time as a function of experimental condition. Here, we used finite impulse response (FIR) modeling to identify task-specific functional connectivity networks based on the 15 bins (i.e. 30 s, allowing for hemodynamic lag) following the onset of the generation cue. Importantly, using a FIR model allows hemodynamic response (HDR) profiles to be identified for each component separately, allowing the identification of task-relevant functional connectivity networks with dissociable temporal profiles. Finally, CPCA provides HDR estimates at the individual level, allowing the resultant predictor weights to be used to explore the correlates of individual differences in component activation.

Mediation analyses

To differentiate components of the generation network involved in generation using a specific modality from components involved in generation in general, we followed previous work aimed at identifying the large-scale networks supporting emotion regulation performance via mediation modeling ( Denny et al., 2014). First, regions whose activation during generation of emotion (relative to neutral) were identified using robust regression. Mediation effect parametric mapping as implemented in the M3 mediation toolbox ( Wager et al., 2008) was used to investigate modality-specific and modality general pathways of emotion generation. We performed a whole-brain search for voxels whose activity during emotion generation (relative to the neutral baseline) showing a relationship with reported use of a given modality that was mediated by the activity in regions independently correlated with usage of that modality in a robust regression model. Statistics were assessed using the bootstrapping approach implemented in the M3 toolbox (10 000 samples).

Analysis approach

The first objective our analyses was to establish the overall neural architecture of EGE. To achieve this, we first sought establish the validity of our experiment by investigating subjective and physiological indices of emotional states. Next, we contrasted combined positive and negative EGE with the neutral baseline, thereby identifying the overall neural basis of EGE. We next sought to test the component process mapping proposed in the introduction in two ways: first, based on the data from Experiment 1, we enacted a contrast-based decomposition, based on a model of the activation dynamics expected for each of the component processes. To complement this, we next performed a data-driven decomposition of the data from Experiment 2 using CPCA, to identify the functional networks central in EGE. Together, the results from these three analyses allowed a description of the overall network and functional subcomponents supporting EGE in general. Following on this, the second objective of the analyses was to differentiate general EGE networks from those supporting specific implementations of EGE, such as the generation of a particular valence, or using a specific modality. By investigating how subjective ratings for positive and negative generation parametrically modulated signal, we could differentiate regions activated in a valence-specific manner from those supporting specifically the generation of positive and negative emotional states. Finally, by investigating the correlation of activation with reported usage of different modalities, we could identify specific regions supporting modality-specific implementation, and, using mediation analysis, identify the networks supporting EGE modality usage. Moreover, by comparing these networks we could differentiate parts of these networks supporting specific modalities from those supporting EGE in general.


SI Results

Prediction of Behavioral Accuracy Based on Neural Classification Accuracy.

The 12 Kanizsa–control pairs (Fig. S1) differ in the degree to which they result in perceptual integration. This is reflected in variations in behavioral accuracy at distinguishing between a Kanizsa and its control across these pairs. To establish a direct link between EEG classification accuracy and perceptual integration, we used variations in peak classification accuracy to predict variations in behavioral accuracy. To obtain classification accuracies for the 12 pairs, we used the same classifier as was used in the other analyses (Fig. S3 for the training task). Importantly, we did not train separate classifiers for separate Kanizsa–control pairs only the testing was performed separately for the 12 pairs. Because we used a single classifier that was trained indiscriminately on the entire stimulus set, it is only sensitive to differences in perceptual integration that generalize across the entire set. This is important because it prevented classification accuracy for any Kanizsa–control pair from being confounded by idiosyncratic features in that pair (such as luminance or the makeup of the inducers).

Next, we averaged across subjects and used robust linear regression to predict behavioral accuracy using classifier performance. Fig. 2C and Fig. S5 show regression slopes and corresponding R 2 values when predicting behavioral accuracy using peak EEG classification accuracy at 264 ms across the 12 Kanizsa–control pairs. Robust linear regression guards against violations of assumptions underlying ordinary least squares, and guards against the influence of outliers (38). Fig. S5UMA shows regressions for each of the four experimental conditions (as was done in the main text for T1 in Fig. 2C) This analysis shows that the T1 effect of Fig. 2C is replicated: peak EEG classification performance is predictive for behavior in both unmasked conditions, but unsurprisingly not in the masked conditions (where both behavior and classification accuracy was at chance).

However, the unmasked short-lag condition seems to have slightly less predictive power compared with the unmasked long-lag condition (lower R 2 and higher P value for the top-right panel compared with the top-left panel). This is to be expected if the AB manipulation affects behavioral performance without affecting perceptual integration. If the lack of conscious access in the AB (short lag) indeed selectively affects behavioral performance but not perceptual integration itself, one would expect better predictive power when using these data to predict behavioral performance that was not affected the AB, such as behavior at T1. The ability of peak classification accuracy in the four experimental conditions to predict T1 behavior across the 12 pairs is shown in Fig. S5B.

Indeed, short-lag T2 EEG classification is better at predicting T1 behavior than it is at predicting short-lag T2 behavior (compare the top right panel of Fig. S5B to the top right panel of Fig. S5UMA) There, predictive performance is very similar for the unmasked long- and short-lag conditions, as would be expected if the neural processes involved in perceptual integration are not impacted by the AB. Together, these data show independent conformation that peak classification accuracy at 264 ms is able to predict behavioral accuracy across the Kanizsa–control pairs, confirming its validity as a neural index of perceptual integration.

The Contribution of Frontal Cortex to Perceptual Integration.

To investigate the contribution of frontal regions to perceptual integration, we also applied the classification analysis and the brain–behavior regression from Fig. 2C to the frontal electrodes: Fp1, AF7, AF3, Fpz, Fp2, AF8, AF4, AFz, and Fz (bottom right panel of Fig. S6UMA black dots show the electrode selection in the topographic map). This analysis shows some modulation of classification accuracy in frontal cortex, both in the 264- and in the 406-ms time frame—albeit much lower than what is observed in occipital cortex (Fig. S6UMA) Importantly, however, although classification accuracy seems to show a difference between the AB and no-AB condition, none of these modulations predicts behavioral accuracy across the Kanizsa–control pairs, neither in the T1 condition nor in any of the other conditions (Fig. S6B compare with Fig. 2C in the main manuscript and Fig. S5UMA).

This shows that the frontal signal is not causally involved in the strength of perceptual integration, consistent with the distribution of the perceptual integration signal that we observed in Fig. 2 B e C. This is in line with our finding that a selection of occipital electrodes is advantageous when using independent training runs to obtain a “pure” measure of perceptual integration (Fig. S4). Because the frontal signal is nonselective with respect to the strength of perceptual integration, it is likely to reflect a generic presence/absence signal as a precursor to global ignition and conscious access later on (which is known to occur in the range of the P300).

Note that we also performed an analysis on all electrodes, while training on T1 (Fig. 5 in the main manuscript). This analysis was intended to look at the contribution of other signals and mechanisms to behavior than perceptual integration alone. There, we further showed that no notable classification advantage was gained at 264 ms over what was observed in occipital cortex when adding frontal electrodes. The pattern of results was largely the same as what was observed when restricting the analysis to electrodes in occipital cortex (compare Fig. 2 to Fig. 5 in the main manuscript). This shows that the information contained in frontal cortex in the 264-ms time frame does not meaningfully contribute to classification accuracy over and above what is already present in occipital cortex. Later in time, however, we do see a contribution of centroparietal and frontal electrodes to classification accuracy at 406 ms, on par with the outcome of the behavioral decision, the distribution of which can be observed in Fig. 5B (Fundo).

Together, these analyses show that the occipital cortex contains a signal that uniquely reflects perceptual integration, and that this signal is not modulated by the presence or absence of conscious access. Frontal cortex does contain a weak signal in the 264-ms range that seems sensitive to whether a perceptually integrated signal will be reported, but this signal is not diagnostic or selective for the strength of perceptual integration, and does not provide a classification advantage over the signals that are already present in occipital cortex.

Seen–Unseen Analysis.

A common analysis approach in consciousness research has been to perform a post hoc selection of neural data based on whether trials are behaviorally seen or unseen. Although such an analysis can in principle be useful in addition to a main analysis, it also has intrinsic pitfalls. Importantly, one cannot dissociate between the possibility that any observed effect of seen or unseen trials is a cause, a consequence, or a correlate of consciousness (also see ref. 39). Even when equating objective performance between seen and unseen conditions (40), such an approach can never determine with certainty whether the equated objective performance between seen and unseen might not be caused by uneven mixes of low-level stimulus or other bottom-up–related effects on the one hand and cognitive factors (i.e., attention) on the other (e.g., see discussion in ref. 41). Therefore, before presenting this seen–unseen analysis, we make the disclaimer that the only way of establishing cause and effect is by manipulating an independent variable (e.g., through masking or the AB) and determining the effect of that manipulation on behavior and neural processing across all trials, as is done in the main text. Again, any analysis in which a post hoc selection of neural data are made based on subject responses cannot establish with certainty whether the observed effects are caused by the manipulation in question, or are merely a consequence of coincidental differences in initial stimulus strength, noise levels in the neural machinery (e.g., waxing and waning of attention), criterion setting, incidental response errors, or any combination thereof.

This becomes apparent when inspecting the T1 plots (top row) of Fig. S7UMA. Here, we selected T1 trials based on whether a Kanizsa was seen or not, and looked at classification accuracy over time for these trials (classification accuracy was computed using the same classifier as was used in the core analysis of Fig. 2 in the main text SI Methods) Although classification accuracy is clearly modulated by visibility of T1, it is impossible to know what caused this modulation. The “unseen” stimuli may have escaped report because the subject had his eyes closed on some of these trials, was momentarily not attending, because the stimulus had less bottom-up strength than its “seen” counterparts, because subjects had a conservative response criterion, because the wrong button was accidentally pressed, or any combination of these. It is evidently questionable what one can conclude about the effect of access consciousness on perceptual integration based on such a seen–unseen analysis of T1 trials, because access consciousness was not manipulated here. Importantly, however, this is not only because we did not explicitly manipulate consciousness for T1 (although this makes the flaw in the approach more apparent), but rather because one cannot attribute cause and effect using an approach in which a dependent measure (the seen–unseen response) is used to generate experimental conditions. As a general reminder: an experimental condition should always be one that is under the control of the experimenter, not under control of the subject.

The same shortcoming applies in any post hoc seen–unseen analysis approach of neural data, even when the experiment does contain an explicit manipulation of consciousness such as masking or the AB, and even when controlling for objective performance. Indeed, as we can see in the four experimental conditions (row 2 and 3) of Fig. S7UMA, there is a clear effect of seen–unseen on short-lag (AB) trials. Unseen short-lag trials (fourth column, second row) have a lower classification accuracy than seen short-lag trials (second column, second row). However, as for T1, one cannot attribute this seen–unseen modulation to differences in conscious access, as differences in bottom-up stimulus strength, attention, as well as response errors have a big influence on whether a trial is classified as seen or unseen. The seen and unseen conditions will not be balanced with respect to these coincidental properties and can thus not be sensibly compared. Therefore, if any, the only somewhat legitimate comparison in terms of the effect of conscious access on perceptual integration would be between short and long lag within the seen category (so between the first and second column) on the one hand, or between short and long lag within the unseen category (so between the third and fourth column) on the other.

These within category comparisons clearly show that (in)visibility is not modulated by lag (i.e., classification accuracy is equally strong for short- and long-lag seen trials, as well as for short and long-lag unseen trials). If anything, perceptual integration is stronger for the short-lag trials than for the long-lag trials, both within the seen and within the unseen category, although this is hard to ascertain due to the fact that different stimulus counts go into these categories as a result of post hoc selection. Also consistent with the conclusion of the main text, we see that unseen short-lag trials show a clear signature of perceptual integration, further supporting the main conclusion of this study that perceptual integration can occur in the absence of conscious access. In short, despite disclaimers about a seen–unseen analysis approach, the seen–unseen data are consistent with the results in the main text: perceptual integration is not modulated by conscious access.

Interestingly—and again in line with the main text—the same does not hold for the control experiment in which weak masking was applied. If we do the same seen–unseen analysis for this control experiment, as shown in Fig. S7B, a different picture emerges. Here, we see a clear effect of masking on perceptual integration within the seen category, in contrast with the AB effect of Fig. S7UMA. Weakly masked seen trials result in evidently lower peak classification accuracy than unmasked seen trials, supporting the notion that masking impacts perceptual integration directly. A similar comparison could not be made in the unseen category, because not enough trials went undetected in the unmasked condition. However, it is noteworthy that weakly masked unseen trials could not be classified above chance, again in line with the conclusion from the main text that masking impacts visibility by disrupting perceptual integration directly, although, once again, it is important to realize that many other factors could have contributed to classification performance in this “weakly masked” unseen category (erroneous button presses, lapses of attention, etc.).

T1-Based Classification at 264 ms.

When training the classifier on T1 data using all electrodes, and testing this classifier on the T2 data, the 264-ms time point showed a strong main effect of masking (F1,10 = 91.63, P < 10 −5 ), a main effect of AB (F1,10 = 8.22, P = 0.017), and a trending interaction between masking and AB (F1,10 = 4.06, P = 0.071) (Fig. 5B, Principal) To test directly whether the measurement source (neural or behavioral) at 264 ms results in a differential effect on classification accuracy, we again entered the normalized measurements into a large 2 × 2 × 2 ANOVA with factors measure (behavioral/neural), AB (yes/no), and masking (yes/no) (SI Methods) There was no interaction between measure and masking (F1,10 = 0.274, P = 0.61), but importantly there was an interaction between measure and AB (F1,10 = 6.75, P = 0.027), as well as a trending three-way interaction (F1,10 = 4.50, P = 0.060). The impact of measure confirms that, even when decision, selection, and response mechanisms are allowed contribute to classifier performance, the neural data at 264 ms cannot explain the pattern of results that is observed in behavior.


Assista o vídeo: Aula 9 - Deep learning (Pode 2022).