Palestra – A lógica das plataformas digitais

Clique na imagem para ver a apresentação usada na minha palestra no evento da Rede Prosa:

 

Sem título

Anúncios

Artigo sobre norma algorítmica do Facebook

(English bellow)

Já está disponível uma versão inicial do artigo publicado na revista E-Compós no qual analiso o processo de construção de uma “norma algorítmica“: discursos que buscam condicionar o comportamento de produtores de conteúdos no Facebook.  O resumo do artigo e o link para o arquivo estão disponíveis abaixo:

Link para o arquivo

algorit

Resumos:

A construção da norma algorítmica: análise dos textos sobre o Feed de Notícias do Facebook

O artigo analisa a construção do Feed de Notícias nos textos públicos do Facebook. O objetivo do estudo é entender e mapear as lógicas estabelecidas nesses textos em relação ao uso e funcionamento do mecanismo. Foram analisadas 40 publicações em página institucional do Facebook, destinada a apresentar e explicar as mudanças no mecanismo. A análise foi orientada por um entendimento performativo do texto inspirado pelos estudos de ciência e tecnologia e pela Teoria Ator-Rede. Como resultado da análise, foi observada a construção de uma lógica normativa sobre o relacionamento entre os produtores de conteúdo e o sistema de classificação do Feed de Notícias, nomeada no estudo como norma algorítmica.

Palavras-chave: Facebook. Feed de Notícias. Algoritmos.

Abstract:

The Construction of an Algorithmic Norm: an Analysis of the Texts About the Facebook News Feed

This paper analyses the construction of the News Feed in Facebook’s public texts. The objective is to map the logics enacted in these texts in relation to News Feed usage and operation. Forty texts of a Facebook webpage announcing changes in the News Feed were analyzed. The study was based on a performative understanding of text inspired by science and technology studies and the Actor-Network Theory. The analysis describes the construction of normative logic concerning the relationship between publishers and the News Feed classification system, a construction which this paper calls the algorithmic norm.

Keywords: Facebook. News Feed. Algorithms.

 

 

Um feed (realmente) de notícias: fuja da filtragem do Facebook

Descubra uma forma de escapar das filtragens do Facebook e receber conteúdo jornalístico assim que publicado.

No início deste ano, Mark Zuckerberg anunciou que os processos de filtragem que produzem os nossos feeds no Facebook passariam a privilegiar publicações de amigos, reduzindo assim o alcance das postagens de páginas. O anúncio público feito pelo CEO da companhia apenas formalizou uma tendência que desde 2013 vem se tornando visível no Facebook: feeds com cada vez menos conteúdo produzido nas páginas e, ao mesmo tempo, a falta de opções aos usuários para gestão desses feeds. Mesmo que existam certos controles sobre o que é incluído ou não seu feed, há algum tempo se tornou impossível escapar da “personalização”: filtragem algorítmica que pretende mostrar conteúdos considerados “relevantes” de acordo com os seus dados de uso da plataforma.

feed-lista

Funcionalidade de ‘Listas’: descontinuada em 2015, as Listas podem ser uma boa estratégia para escapar da filtragem e receber no Facebook notícias assim que eles sejam publicadas

Você pode não lembrar, mas o Facebook nem sempre foi assim. Houve um tempo (2012) que cada usuário poderia criar feeds específicos de acordo com seus interesses. Por exemplo, você poderia criar feeds para grupos de amigos (família, colegas de faculdade, colegas de trabalho) e tipos de páginas (notícias, entretenimento, memes, etc.). Nessa funcionalidade, chamada de “Listas”, não havia a seleção por relevância e as publicações eram apresentadas em ordem cronológica.

Nessa época, para garantir uma leitura matinal de notícias sobre temas variados, sem filtragem por relevância, criei uma lista chamada de ‘Notícias’, com as páginas dos principais produtores de conteúdo jornalístico no Facebook.

Na leva de mudanças no Facebook que reduziram ainda mais a autonomia dos usuários, a funcionalidade de Listas foi “descontinuada” em 2015. Porém, apesar de não ser possível criar novas listas, ainda é possível acessar as que já havia criado. Desde então, venho usando essa funcionalidade para me informa diariamente.

Então, diante da atual dificuldade para acompanhar conteúdos jornalísticos no Facebook, resolvi compartilhar com vocês o acesso a minha lista de notícias. Através do link abaixo, você poderá ter acesso (sem filtros) a todas as publicações das páginas incluídas na lista. Se você considerar que outras páginas deveriam também ser incluídas, me avise por e-mail (willianfaraujo@gmail.com) para que eu possa atualizar a lista.

https://www.facebook.com/lists/4883154029301

Para acessá-la com mais facilidade, salve esse link entre seus favoritos!

Palestra – Entendendo os algoritmos do nosso cotidiano

Clique na imagem para acessar a apresentação

Entendendo os algoritmos do nosso cotidiano

Na palestra “Entendendo os algoritmos do nosso cotidiano“, ministrada por Willian Fernandes Araújo, serão discutidos aspectos gerais do que exatamente são esses algoritmos e como eles atuam em nossas práticas comunicacionais ao sugerir, classificar ou ranquear conteúdos, produtos, pessoas, etc.

Palestra realizada na Faculdade de Biblioteconomia e Comunicação da UFRGS (FABICO) como atividade do Projeto “Estudos de Comunicação em Debate”

Acessar a apresentação

 

Algoritmos da comunicação: artigo apresentado no Intercom 2017

twitter

Baixe o artigo no Academia.com

Baixe o artigo nos Anais da Intercom 2017

Olá!

Compartilho aqui o artigo que apresentei no Intercom 2017. Trata-se de um desdobramento da tese como uma reflexão teórica sobre algoritmo como objeto de estudo da comunicação.

Confira resumo abaixo:

O objetivo deste artigo é mapear as características da noção de algoritmo como objeto de estudo contemporâneo. O estudo está organizado metodologicamente como uma revisão bibliográfica dos principais textos sobre o tema no campo das Ciências Sociais e Aplicadas. A partir disso, é realizada uma discussão teórica orientada por três eixos analíticos definidos por Ziewitz (2015) como temas recorrentes em estudos sobre sistemas algorítmicos: agência, normatividade e visibilidade. Por fim, o estudo propõe uma definição da noção de algoritmo como objeto de estudo da comunicação, enfatizando uma abordagem ampla, plural e relacional.

Baixe o artigo no Academia.com

Baixe o artigo nos Anais da Intercom 2017

Baixe: tese sobre algoritmos e Facebook

algoritmos do facebook

Baixar arquivo da tese:

ARAÚJO, W.F. . As narrativas sobre os algoritmos do Facebook: uma análise dos 10 anos do feed de notícias. 2017. 315 f. Tese de doutorado. Porto Alegre, Universidade Federal do Rio Grande do Sul.

Olá!

Disponibilizo abaixo o texto completo da minha tese de doutorado. Durante 4 anos acompanhei o processo de produção do sistema de classificação do Feed de Notícias do Facebook. O chamado “algoritmo do Facebook” é um dos espaços digitais mais acessados no planeta. Por isso, compreender como esses mecanismos são construídos pode contribuir com importantes apontamentos para pesquisa sobre tecnologias digitais.

Meu estudo fez uma análise das comunicações públicas do Facebook ao longo de 10 anos (2006-2016) buscando observar como o Feed de Notícias é construído durante esse período. Um dos resultados da pesquisa (veja na imagem acima) é a observação de que a construção do mecanismo se modifica ao longo do tempo, gradativamente reduzindo a agência do mecanismo nos processos de definição do que é relevante.

Confira o resumo da tese:

Esta tese acompanha a construção do Feed de Notícias do Facebook ao longo dos seus primeiros 10 anos (2006-2016) com o objetivo de descrever as formas como o mecanismo e a noção de algoritmo são definidos ao longo do período estudado. São analisados os conteúdos digitais, chamados de dispositivos textuais, que compõem publicamente o que o Feed de Notícias é e faz, descrevendo os atores implicados na composição dessa narrativa, mapeando seus objetivos e seus efeitos. A amostra analisada toma como ponto de partida os dispositivos textuais alocados em dois espaços digitais institucionais do Facebook: Facebook Blog e Facebook Newsroom. A partir da leitura de mais de mil publicações digitais do Facebook e de outros agentes (usuários, produtores de conteúdo, imprensa, ativistas etc.), foram selecionadas as publicações mais relevantes ao estudo, escolhidas com ênfase em eventos e circunstâncias de negociação ou mudança. A abordagem aqui construída representa uma composição de perspectivas dos estudos de ciência e tecnologia (STS) e da Teoria Ator-Rede (TAR). Trata-se do conjunto de procedimentos utilizados na descrição do caráter performativo dos textos. Na análise realizada na tese, são identificados três momentos distintos da construção da noção de algoritmo ao longo da trajetória do Feed de Notícias, chamados de Algoritmo Edgerank, Algoritmo Certo e Algoritmo Centrado no Usuário. Ao mesmo tempo, é apresentada a formulação do Feed de Notícias como um fluxo constante. É argumentado que as transformações no mecanismo são orientadas para gerar engajamento e manter usuários conectados ao Facebook. Engajamento é, na racionalidade emergente da construção do Feed de Notícias, uma mercadoria resultante de sua ação. Outra noção relevante decorrente da análise é a ideia de norma algorítmica como lógica normativa de visibilidade que busca regular o relacionamento entre produtores de conteúdo e o mecanismo, punindo os que não seguem as chamadas boas práticas.

Clique para baixar o arquivo com texto da tese

Defesa de Tese: “Os algoritmos do Facebook: um estudo dos primeiros 10 anos do Feed de Notícias”

a.png

O que? Defesa da minha tese de doutorado no Programa de Pós-graduação em Comunicação e Informação da UFRGS.

Quando? 17/03, às 14h

Onde? Na sala 206 da FABICO

Resumo do trabalho

Esta tese acompanha a construção do Feed de Notícias do Facebook ao longo dos seus primeiros 10 anos (2006-2016) com o objetivo de descrever as formas como o mecanismo e a noção de algoritmo são constituídos e transformados ao longo do período estudado. São analisados os conteúdos digitais, chamados de dispositivos textuais, que compõem publicamente o que o Feed de Notícias é e faz, descrevendo os atores implicados na composição dessa narrativa, mapeando seus objetivos e seus efeitos. A amostra analisada toma como ponto de partida os dispositivos textuais alocados em dois espaços digitais institucionais do Facebook: Facebook Blog e Facebook Newsroom. A partir da leitura de mais de mil publicações digitais do Facebook e de outros agentes (usuários, produtores de conteúdo, imprensa, ativistas etc.), foram selecionadas as publicações mais relevantes ao estudo, escolhidas com ênfase em eventos e circunstâncias de negociação ou mudança. A abordagem aqui construída representa uma composição de perspectivas dos estudos de ciência e tecnologia (STS) e da Teoria Ator-Rede (TAR). Trata-se do conjunto de procedimentos utilizados na descrição do caráter performativo dos textos. Na análise realizada na tese, são identificados três momentos distintos da construção da noção de algoritmo ao longo da trajetória do Feed de Notícias, chamados de Algoritmo Edgerank, Algoritmo Certo e Algoritmo Centrado no Usuário. Ao mesmo tempo, é apresentada a formulação do Feed de Notícias como um fluxo constante. É argumentado que as transformações no mecanismo são orientadas para gerar engajamento e manter usuários conectados ao Facebook. Engajamento é, na racionalidade emergente da construção do Feed de Notícias, uma mercadoria resultante de sua ação. Outra noção relevante decorrente da análise é a ideia de norma algorítmica como lógica normativa de visibilidade que busca regular o relacionamento entre produtores de conteúdo e o mecanismo, punindo os que não seguem as chamadas boas práticas.

Palavras-chave: Feed de Notícias. Facebook. Algoritmos. Teoria Ator-Rede. Plataformas digitais.

Entrevista ao site da UOC

willian-araujo1

Durante 9 meses de 2015 estive na Universitat Oberta de Catalunya, em Barcelona, realizando o que se chama de Doutorado Sanduíche no Exterior. Durante esse período, desfrutei da convivência com os pesquisadores do grupo de pesquisa Cultura Digital Mediaccions. Especialmente destaco o apoio da professora Elisenda Ardèvol.

Abaixo compartilho a entrevista que dei ao site da instituição sobre a minha pesquisa. O texto está em inglês. A versão em espanhol/castelhano pode ser conferida aqui.

Interview with Willian Araújo
“When you don’t pay for a product, you are the product”
22/12/2015 / By Germán Sierra

Willian Araújo has studied the last 10 years of Facebook. During this time he has seen how the social network has become a powerful communications and advertising weapon that has helped change how we communicate and consume information. The expert participated in the IN3 seminar “The Construction of the Right Algorithm: A discussion about algorithmic agency in the Facebook News Feed“, in which he detailed some of the results of his latest research, which has taken him three years and is focused on the automated actions of Facebook, the use of the algorithm and personalized results. He is especially concerned that people should be aware when they use Facebook or Google that there are mechanisms and tools to protect our privacy and obtain more neutral and less personalized search results.

What is the object of your research?

Since beginning my doctoral research it seemed interesting to me to work on the automated actions that we increasingly encounter when we browse the Net: an ad targeted at us, some content, a new friend or a professional contact… I wanted to study these digital actions based on computational processes and how that phenomenon affects people’s behaviour.

And you were particularly attracted to Facebook.

Yes, the Facebook News Feed (wall) is one of the most important news environments in the world. In Brazil, according to several surveys, this social network is the biggest source of information there is, ahead of newspapers. Eighty-six per cent of Brazilians with access to the Internet have a profile open in Facebook, which is over 80 million users. In the uprising against the government in 2014, 68% of people surveyed said they followed the events on Facebook.

Do you think that News Feed, a feature launched in 2006, changed the working of this social network and behaviour on the Internet forever?

Completely. Until that moment, Facebook was very simple. We all had our page but we looked at those of others to see the changes they had made. With News Feed, these actions were automated and the changes users made in their profiles became visible to others. It was the first controversy Facebook was involved in, because private actions were exposed to the public and that meant an attack on users’ privacy, which caused a great backlash that forced the network to change its privacy policy. Nevertheless, News Feed survived. Although now it seems quite natural to us, at that time it was a very important change that affected how we use the Internet. From that moment, Facebook began to improve this mechanism and make it more sophisticated, with the aim of making it smarter and more personal to give users content more suited to their tastes.

Today Facebook knows through browsing patterns on its website if we are leftwing, ecologists or interested in the Second World War. Apart from our own use of the Net, where does it get this information?

It has very good strategies to obtain data. For example, all the questions it asks us when we register, which are increasingly more complex. It observes how long we spend looking at specific contents to determine what kind of content most interests us, and if we prefer pictures, texts or videos. It has what we call a centripetal force strategy, aimed at the centre. Notice the link that many pages now have with Facebook, which gives the network a great deal of new data, because we use other websites via Facebook. Another strategy is to try to prevent users from even leaving Facebook, so they consume most of their content there. This occurs on the mobile phone.

In your presentation you talk about the construction of the appropriate algorithm in Facebook.

The concept of algorithm is over 2,000 years old, but now it is especially important for many reasons. An algorithm is like a recipe: it explains the steps you must follow to achieve a result. When we talk about the algorithm of Facebook or Google, we are not talking about only one algorithm, but a chain of algorithms that in their turn intersect with a chain of servers, with a chain of laws, of advertisers… It is a very big infrastructure that we label, mistakenly in my view, with the name of algorithm. Giving it this name is highly reductionist because in the end an algorithm is only a mathematical operation.

Can human relations be measured mathematically?

It is hard to say yes but imprecise to say no (laughs). The founder of Facebook, Mark Zuckerberg, says that his main objective is to understand human relations, the mathematical formula that makes someone interested in one type of content or another. It is something he talked about recently in a public meeting with Stephen Hawking. In my view, human patterns are too complex to be delimited in this way. The fact that someone clicks repeatedly on specific content does not necessarily mean that they are only interested in that content or that they want to consume more of that type of content.

In this respect, in your presentation you talked about the concept of the filter bubble.

Yes, it is a term coined by Eli Pariser in his book Filter Bubble. What the Internet Is Hiding from You. As he explains, the Net algorithm exploits data such as our search history, our location, or our past browsing behaviour to give us personalized results that, in some way, isolate us in a kind of bubble because it only provides us with what we would like, not what really exists on the Net. It is a very interesting discussion and highly disputed. This year Facebook has launched a study in which it has investigated a small percentage of its American users to conclude that it is the people themselves who cause the bubble, not the algorithm or algorithms. At this point I must also say that it is fundamental to have more information about personalization. Users must know that there are mechanisms to at least minimize it by using, for example, browser extensions.

Personalization still makes the user a consumer.

Yes, and all companies allocate resources to this. Companies are now data driven: many products are designed with information based on data use. The more data there is, the better the products and the greater the commercial potential. There are people and institutions that are fighting to get this regulated. Europe, in this respect, has a fundamental role because of its critical position, non-existent in the United States. There are now studies that show that personalization has a strong impact on the diversity of information.

A few years ago Google used the slogan “Don’t be evil” to explain the intention of not using data for malicious purposes and maintaining a fair code of conduct. Is Facebook “evil” today?

It is a company with specific interests that do not always coincide with those we have as people. Both Google and Facebook have a strong discourse in relation to doing good, making the world more open, connecting people and creating a more open Internet. I have been following Facebook for over ten years and in all this time it has talked about making the Internet more open when this is not what it is actually doing: it is closing it or taking it to Facebook. In South America or Africa, the Internet that is distributed free of charge is Facebook. It is important that people are aware of this, that they think about the fact that when you don’t pay for a product, you are the product. But I want to make it clear that I like Facebook and find it useful.

Research Seminar: “The Construction of the Right Algorithm”

Click to view the presentation

Click to view the presentation

Octobre 27, 2015.

Facebook CEO Mark Zuckerberg, during an open question session on his site, gave a very interesting answer about how he understands human social relationships: something that probably could be explained by a fundamental mathematical law that governs the balance of who and what we all care about (2015). The understanding that human relationships have a mathematical basis is connected to how Facebook constructs what I have called the ‘right algorithm’: a data-driven mechanism named News Feed that seeks to deliver “the right content to the right people at the right time so they don’t miss the stories that are important to them” (2013). The notion of algorithm is at the core of the discussions about these so-called ‘smarter’ digital environments. It is part of a rising sociotechnical phenomenon: the usage of automated mechanisms in digital media as key actors for a new economy of attention. It has been called ‘personalization’ and represents a complex data-driven process based on algorithmic systems. These mechanisms are associated with more ‘intelligent’ services that deliver a ‘better’ user experience. Using some preliminary observations from my research on the Facebook News Feed, the discussion will address important questions such as how to approach algorithmic system actions ethnographically; how theoretical decisions modulate the ethnographic description, and which consequences are relevant for research.

Links:

Shutting down the News Feed: Personalization systems and disruptive user’s actions on the Facebook News Feed

PDF version

Abstract accepted in the workshop on “Standards, Disruptions and Values in Digital Culture and Communication” of the Digital Culture and Communication Section of ECREA. It will be hosted at the University of Salzburg, 26-28 November, 2015.

Facebook Mood Manipulator: an example of browser extensions which try to modify different Facebook News Feed features.

Facebook Mood Manipulator: an example of browser extensions which try to modify different Facebook News Feed features.

Shutting down the News Feed: Personalization systems and disruptive user’s actions on the Facebook News Feed

Since Manovich’s The Language of New Media (1999), the computational processes that make digital media possible have been discussed as media patterns that shape sociocultural dynamics. Apart from Manovich’s structuralist point of view (Galloway, 2012), software and algorithms have appeared in the humanities as infrastructural elements of everyday life (Fuller, 2008) that condition our very existence (Kitchin and Dodge, 2011) as a material complexification (Thrift, 2005). They encode a neighborhood of relations that “trace contemporary production, communication, and consumption.” (Mackenzie, 2006, p. 169). Specifically the notion of algorithm, as a powerful logic of command and control for solving computational problems, is at the core of the discussions about current smarter digital media environments. It is part of a rising sociotechnical phenomenon: the usage of personalization mechanisms in digital media.

Since 2009 when Google changed search paths to return more contextual results, many other web services have adopted this strategy, which is generally associated with more intelligent systems that deliver a better user experience. These mechanisms represent a complex data-driven process based on algorithms that seek to predict user preferences, as well as to show “relevant” advertising. This highly mediated environment is impossible to disable. In digital media company discourse, personalization systems are generally evaluated by their capacity to keep people logged into a website, and the results of personalization processes are described in subjective terms including “better,” “right,” “genuine” and “important.” Thus this paper explores the specific case of the Facebook News Feed, investigating the ongoing, unstable and conflicted relationship between personalization systems and user’s disruptive interactions with these mechanisms. The Facebook News Feed creates a personalized flow of publications which promises to deliver “the right content to the right people at the right time so they don’t miss the stories that are important to them” (Backstrom, 2013, online).

This standard functionality for all Facebook users is considered one of the most significant informational environments given Facebook’s wide user base (Pariser, 2011). The visibility constructed through Facebook News Feed is enacted within algorithmic processes in relation to a range of data such as their interrelationship with users (Bucher, 2012). However, this digital “right driven” standard pattern has encountered disruptive reactions which seek to act on its digital materiality. They may be seen in browser extensions which try to modify different Facebook News Feed features, such as the filtering process (Facebook Mood Manipulator), visual metrics of contents (Facebook Demetricator) or agreement buttons (I dislike button). They may even shut down the whole News Feed (Quiet Facebook, Kill News Feed and News Feed Eradicator for Facebook). These mechanisms show diverse but similar material-discursive practices (Barad, 2003) which subverting the Facebook News Feed.

Along these lines, this study seeks to produce an in-depth description about dissonant forms of constructing a sociotechnical narrative. Understanding these can contribute important notes about the Facebook News Feed’s agency and, more generally, about a more complex relationship between technical objects’ agencies and users’ disruptive practices.

This paper is part of my ongoing PhD research on the agency of personalization systems in social network sites. Ethnographic strategies form the basis for the construction of the fieldwork(Ardèvol and Gómez-Cruz, 2014; Hine, 2015). Combining the Multi-sited Ethnography (Marcus, 1995) with material semiotic strategies to conceive materially heterogeneous agency (Latour, 1992; Akrich, 1992; Law, 2009), I develop strategies to enable the production of deep and contextual understanding through the ethnographic description. Generically speaking, I feature it in four broad and interconnected movements of fieldwork construction: First, following the Facebook News Feed trajectory with a broad digital archeology; second, following controversies surrounding this mechanism; third, following everyday usage through observation participant seeking to understand how people make sense of their lives within the personalization processes (Hine, 2015); and fourth, following Facebook News Feed disruptive reactions, the methodological movement which is emphasized in this paper.

Finally, I present some fieldwork notes, demonstrating that these browser extensions are constructed as an empowerment of subjects against the passive conception of the user enacted by these mechanisms. Simultaneously, the counter agency of these mechanisms provides insights about how Facebook enacts sociality and usage of its personalization features through the idea of “right content, people and time”.

References:
Akrich, Madeleine. “The de-scription of technical objects.” Shaping technology/building society (1992): 205-224.
Ardévol, Elisenda, and Edgar Gómez‐Cruz. “Digital Ethnography and Media Practices.” The International Encyclopedia of Media Studies (2014).
Backstrom, Lars. 2013. “News Feed FYI: A Window Into News Feed”. https://www.facebook.com/business/news/News-Feed-FYI-A-Window-Into-News-Feed. Facebook.
Barad, Karen. “Posthumanist performativity: Toward an understanding of how matter comes to matter.” Signs 40.1 (2014).
Bucher, Taina. “Want to be on the top? Algorithmic power and the threat of invisibility on Facebook.” New Media & Society 14.7 (2012): 1164-1180.
Fuller, Matthew, ed. “Software studies: A lexicon”. MIT Press, 2008.
Galloway, Alexander R. “The interface effect”. Polity, 2012.
Kitchin, Rob, and Martin Dodge. “Code/space: Software and everyday life”. MIT Press, 2011.
Latour, Bruno. “Where are the missing masses? The sociology of a few mundane artifacts.” Shaping technology/building society (1992): 225-258.
Law, John. “Actor network theory and material semiotics.” The new Blackwell companion to social theory (2009): 141-158.
Hine, Christine. Ethnography for the Internet: Embedded, Embodied and Everyday. Bloomsbury Publishing, 2015.
Mackenzie, Adrian. “Cutting code: Software and sociality”. Vol. 30. Peter Lang, 2006.
Manovich, Lev. “The language of new media”. MIT press, 2001.
Marcus, George E. “Ethnography in/of the world system: The emergence of multi-sited ethnography.” Annual review of anthropology (1995): 95-117.
Pariser, Eli. “The filter bubble: What the Internet is hiding from you”. Penguin UK, 2011.
Thrift, Nigel. “Beyond mediation: three new material registers and their consequences.” Materiality (2005): 231-56.