« juni 2003 | Main | augusti 2003 »

juli 31, 2003

Topology of the World Trade Web

Ett annat paper om komplexa nätverk.

Topology of the World Trade Web av M. Angeles Serrano och Marian Boguna.

Abstract:Economy, and consequently trade, is a fundamental part of human social organization which, until now, has not been studied within the network modelling framework. Networks are mathematical tools used in the modelling of a wide variety of systems in social and natural science. Examples of these networks range from metabolic and cell networks to technological webs. Here we present the first empirical characterization of the world trade web, that is, the network built upon the trade relationships between different countries in the world. This network displays the typical properties of complex networks, namely, scale-free degree distribution, the small world property, a high clustering coefficient and, in addition, degree-degree correlation between different vertices. All these properties make the world trade web a complex network, which is far from being well-described through a classical random network description.

Posted by hakank at 03:59 EM Posted to Social Network Analysis/Complex Networks

Emergens i online-auktioner (Barabasi)

I Emerging behavior in electronic bidding av bl.a. Barabasi undersöks elektroniska auktioner, bl.a. eBay. Man har funnit power-law-beteende i budgivningsbeteendet, vilket här innebär att några få spelare domininerar, och därmed påverkar, budgivningarna.

Abstract: We characterize the statistical properties of a large number of agents on two major online auction sites. The measurements indicate that the total number of bids placed in a single category and the number of distinct auctions frequented by a given agent follow power-law distributions, implying that a few agents are responsible for a significant fraction of the total bidding activity on the online market. We find that these agents exert an un-proportional influence on the final price of the auctioned items. This domination of online auctions by an unusually active minority may be a generic feature of all online mercantile processes.


Uppdatering: Upptäckte något senare att Nature skriver kort om detta i Auctions made more efficient. Huvuddelen av artikeln handlar om ett sätt att optimera auktioner.

Posted by hakank at 03:52 EM Posted to Komplexitet/emergens | Social Network Analysis/Complex Networks

Journal of Statistics Education

Journal of Statistics Education (JSE) är en öppen elektronisk tidskrift utgiven av American Statistical Association (ASA). Tidskriften inriktar sig främst mot dem som utbildar i statistik och sannolikhetteori på olika nivåer.

I det senaste numret finns några småtrevliga artiklar:

För den som själv vill leka finns datafilerna till artiklarna att ladda ner här.

Anledningen till att jag tycker om att läsa den här typen av tidskrifter (dvs riktade mot utbildare) är att de ofta har intressanta vinklingar på ämnet och pedagogiska exempel, vilket ju alltid underlättar när man håller på att lära sig något nytt eller vill förkovra sig i ämnet. Eller helt enkelt om man vill förstå grunderna bättre. Jag tror det är nyttigt att då och då gå tillbaka till grunderna, eftersom man (in-)ser nästan alltid något man missade förra gången man lärde sig det.

Posted by hakank at 01:17 EM Posted to Statistik/data-analys

Gadamer och bloggar

På en del bloggar finns det referenser till Gadamer och bloggning, men jag har inte riktigt förstått vilka delar av Gadamers teorier det är som fascinerar. Jag läste en del skrifter av bl.a. honom i min hermeneutik-kurs (i filosofi) för många år sedan, men kan inte riktigt göra kopplingen till just bloggeriet.

Är det någon som kan förklara eller länkpeka vad jag har missat?

Posted by hakank at 11:16 FM Posted to Blogging

juli 30, 2003

RSS-feed blir RSS-förs

Hur ska det engelska order "RSS-feed" översättas till svenska? Detta har vissa av deltagarna i den svenska bloggosfären funderat på under en tid. Till slut, efter flera intensiva timmars diskussioner på bloggen Kalles Klätterträd, kom man slutligen fram till RSS-förs.

Läs det officiella tillkännagivandet som även ger den korrekta förklaringen till och den sanna historien bakom detta nybildade ord. Missa inte heller den intensiva debatten!

Posted by hakank at 11:43 EM Posted to Blogging

juli 29, 2003

Problem med slumptalsgeneratorer?

Ytterligare en intressant Natureartikel idag: Random numbers hit and miss om att slumptalsgeneratorer kan vara skeva.

Yet as computers become more powerful, they will be used to carry out bigger simulations - and then the non-randomness will begin to show up. "In times of high precision there is no place for bad random-number generators," says Stephan Mertens of the Abdus Salam International Centre for Theoretical Physics in Trieste, Italy.

Martens and colleague Heiko Bauke of Otto von Guericke University in Magdeburg, Germany, have pinpointed the mathematical cause of this non-randomness. In a supposedly random sequence of 1's and 0's, a typical algorithm tends to cluster zeros together, they show, introducing a bias.

Man bör nog läsa originalartikeln Pseudo Random Coins Show More Heads Than Tails noga.

Abstract: Tossing a coin is the most elementary Monte Carlo experiment. In a computer the coin is replaced by a pseudo random number generator. It can be shown analytically and by exact enumerations that popular random number generators are not capable of imitating a fair coin: pseudo random coins show more heads than tails. This bias explains the empirically observed failure of some random number generators in random walk experiments. It can be traced down to the special role of the value zero in the algebra of finite fields.


Till TODO-listan, alltså.

Posted by hakank at 04:51 EM Posted to Matematik | Comments (5)

Swingens lilla värld, och delfinens

En annan Nature-artikel Swing era was a very small world handlar om att swingmusikerna var kopplade i en "small world"-värld.

...The pair find that the swing big band era had the same 'small world' property as friendship networks, movie actors and scientific collaborations. Any individual can be connected to any other in the network by a surprisingly small number of steps.

Det berättas även man kommit fram till att delfiner simmar i "små världar":

Lusseau concludes that the dolphin swim-buddy network features about five degrees of separation. It is also very robust. Unlike jazzers or scientists, only a few dolphins have very few connections: most have an intermediate number. Lusseau thinks this helps to hold the community together even if the highly connected hubs die. He calculates that the network would remain cohesive even if a third of the population were wiped out.

Originalartiklarna: Community Structure in Jazz och The emergent properties of a dolphin social network.

Posted by hakank at 04:41 EM Posted to Social Network Analysis/Complex Networks

Smittsamma gäspningar

I Nature-artikeln Kind people catch yawns berättas om en undersökning om hur gäspningar smittar och varför. Möjligen är det ett synkningsfenomen.

Self-aware or empathetic people are more likely to catch the yawns, say US researchers.
Contagious yawning is known to be more than coincidence. Studies have shown that 40-60% of people who watch videos or hear talk about yawning end up joining in.
...
This makes evolutionary sense, agrees Ronald Baenninger, who has studied yawning at Temple University in Philadelphia, Pennsylvania. Contagious yawning may have helped our ancestors to coordinate times of activity and rest. "It's important that all group members be ready to do the same thing at the same time," Baenninger says.

Posted by hakank at 04:23 EM Posted to Komplexitet/emergens | Social Network Analysis/Complex Networks | Social Network Analysis/Complex Networks

Humor och kreativitet - The Fortsättningen

Efter min betraktelse över humor och kreativitet, påminner Peter mig privat om två av sina tidigare inlägg om humor och kreativitet gjorda här och här. Det är reflexioner gjorda kring scenen när man försöker lära roboten i Bicentennial Man att skämta. Läs speciellt det andra av Peters två inlägg, där finns en massa bra referenser till kreativitet och AI.

Scenen i Bicentenial Man påminner om Heinleins Moon is a Harsh Mistress ('Revolt mot Jorden' på svenska) när huvudpersonen lär datorn Mike vilka skämt som är roliga och varför. Datorns kön avgörs sedan genom att analysera vilka skämt denne tycker är roliga respektive icke roliga. Detta tema är ett av skälen till att boken är en av mina återläsningsfavoriter.

Är det någon som vet fler filmer, romaner eller noveller som innehåller detta tema?

När det gäller att generera kreativt är det svårt för mig att bortse från en av mina äldsta husgudar: Edward de Bono. Hans tidigare böcker om lateralt tänkande och problemlösning har påverkat mig stort i mina senare intressen. För mer om "lateral thinking", se t.ex. denna kurs och de Bonos sajt.

Nu är det många år sedan jag läste något av de Bono bland annat eftersom det blev för mycket geschäft över honom och hans verk, men hans tankar ligger fortfarande och skvalpar där i bakgrunden.

Det var bland annat dessa böcker som fick mig att inse hur fantastiskt funtade våra hjärnor är, med den märkliga förmågan att blixsnabbt kunna associera mellan två helt orelaterade saker, vilket just är den drivande mekanismen i ordvitsar (härav min fascination). Brainstorming exploaterar också detta fenomen, vilket är den bärande idén hos de Bono.

Ett "partytrick" i brainstorminganda som förvånansvärt ofta ger gott resultat är att göra fria associationer mellan ett angeläget problem man försöker lösa och ett slumpvis valt ord från SAOL. Associerar man "tillräckligt länge" kommer man nästan alltid fram till en intressant lösning att gå vidare med. Notera att för att detta ska fungera vettigt måste problemet vara uttryckligen formulerat och "tillräckligt angeläget". [Jag skrev för länge sedan ett webbaserat sådant system som hade viss framgång, men det är nerpackat av tekniska skäl. Får väl ta och refaktorisera det vid tillfälle.]

Den negativa aspekten av denna associationsförmåga är att vi tycker oss hitta kopplingar (mönster) mellan saker som inte har sådana kopplingar, som man gör t.ex. i övertro och skrock.
För mer om detta, läs t.ex. Skeptical Inquirer-artiklarna Hidden Messages and The Bible Code om bibelkoden, Coincidences: Remarkable or Random? och den av mig häromdagen refererade boken How We Know What Isn't So av Thomas Gilovich.

Posted by hakank at 10:57 FM Posted to Humor | Husgudar | Sammanträffanden

Humor och kreativitet

Peter på Tesugen.com skrev idag om kreativitet och humor. Här är några vidare-tankar om detta. Möjligen är det ett litet avsteg från det Peter primärt tänkte på.

För den som är är intresserad av humor och kreativitet rekommenderar jag att läsa Arthur Koestlers Act of Creation, där han diskuterar kreativitet på olika plan, däribland humor.

Sedan många år har jag själv varit intresserad av humor, speciellt vitsar och dess tekniker. Se t.ex. min lilla Vad är en vits - en webbessä där jag skriver lite om vitsens tekniker. Det finns några ytterligare litteraturreferenser. (Jag skrev den som en uppgift i Människa-Dator-Interaktion 1995, då vi skulle skriva en "interaktiv uppsats" i HTML.)

Ett av mina projekt är att skapa "roliga ord". Några av försöken:

Möjligen är de genererade orden inte alltid (dvs sällan!) roliga, men ord som analysmodellerstrand, skapad av Word Meld (på ordet kjellerstrand) är lite skoj.

Problemet är, just som Peter skrev, att göra urvalet av de roliga orden. Jag har dock några svävande idéer hur man gör sådana urval. En av idéerna påminner om Darwinian Poetry (tack Kalle för påminnelsen), dvs att generera en massa ord varvid någon (t.ex. jag själv) värderar dem efter hur roliga de är, vilket genererar en massa data om "bra" och "dåliga" ord. Så kommer en data-mining-fas där man förhoppningsvis hittar några relevanta parametrar, som man sedan kan använda för att generera nya ord. Håhåjaja.

Intressant nog finns det ett forskningsområde om datorgenererad humor (computational humor). Några som har skrivit rätt mycket om detta är Kim Binsted och Graeme Ritchie.


Avslutningsvis: Bob Hope: RIP!

Posted by hakank at 02:24 FM Posted to Humor | Program

juli 28, 2003

Information Immune System

Här finns en hel del intressanta papers om olika typer av datasäkerhet, t.ex. intrusion detection, email och spridning av virus, artificiella immunsystem.

Kännetecknande är att de alla har någon koppling till immunsystemet eller levande organismer att göra. En kort presentation av projektet finns på Computer Immune Systems.

Några titlar i högen

Det finns även lite program att ladda ner.

Posted by hakank at 11:47 EM Posted to Machine learning/data mining

Hela artikeln i RSS-filen

Kalle å Kalles Klätterträd önskemålade att RSS-filen index.rdf ska ha med hela artikeln i stället för ett kortare utdrag. Efter ett enkelt handgrepp (som finns att läsa i Kalles artikel) gick även jag över till detta förfarande.

Om någon tycker illa vara eller om det knölar på annat sätt: v.v. rapportera.

Posted by hakank at 11:47 FM Posted to Blogging

juli 27, 2003

Systemdynamisk analys av Kuhns paradigmteori

Jason Wittenberg och John D Sterman gjorde 1999 en systemdynamisk analys av hur vetenskapliga teorier uppstår och försvinner, baserad på Kuhns paradigmteori.

Läs mer på Path Dependence, Competition, and Succession in the Dynamics of Scientific Revolution (PDF av hela dokumentet här).

Abstract: What is the relative importance of structural versus contextual forces in the birth and death of scientific theories? We describe a dynamic model of the birth, evolution, and death of scientific paradigms based on Kuhn's Structure of Scientific Revolutions. The model creates a simulated ecology of interacting paradigms in which the creation of new theories is stochastic and endogenous. The model captures the sociological dynamics of paradigms as they compete against one another for members. Puzzle solving and anomaly recognition are also endogenous. We specify various regression models to examine the role of intrinsic versus contextual factors in determining paradigm success. We find that situational factors attending the birth of a paradigm largely determine its probability of rising to dominance, while the intrinsic explanatory power of a paradigm is only weakly related to the likelihood of success. For those paradigms that do survive the emergence phase, greater explanatory power is significantly related to longevity. However, the relationship between a paradigm's `strength' and the duration of normal science is also contingent on the competitive environment during the emergence phase. Analysis of the model shows the dynamics of competition and succession among paradigms to be conditioned by many positive feedback loops. These self-reinforcing processes amplify intrinsically unobservable micro-level perturbations in the environment - the local conditions of science, society, and self faced by the creators of a new theory - until they reach macroscopic significance. Such dynamics are the hallmark of self-organizing evolutionary systems.

Koden för modellen finns att ladda ner, skriven i Dynamo. Tyvärr har jag inte Dynamo, och när jag försökte porta koden till Vensim gick det inte speciellt bra.

För mer om Kuhns och hans paradigmteori, se t.ex. google-kategorin Society, Philosophy, Philosophers, Kuhn, Thomas S.

Posted by hakank at 10:29 FM Posted to Dynamiska system | Filosofi

Journal of Artificial Societies and Social Simulation

Journal of Artificial Societies and Social Simulation är en mycket intressant (öppen) tidskrift som utkommer fyra gånger per år. Den innehåller papers om simuleringar av sociala system och teorier såsom sociala och komplexa nätverk, organisationer, undersökningar av sociologiska, politiska, ekonomiska och spelteoretiska teorier, samt även mer metodologiska betraktelser över sådana simuleingar. Det finns även längre och penetrerande recensioner av böcker i relaterade ämnen.

Några exempel på vad man kan läsa här:


Det är bland annat denna tidskrift som gjort mig storligen intresserad av agent-baserad modellering (agent-based modeling, ABM) som är en av teknikerna för att undesöka sociala och andra komplexa adaptiva system, t.ex. synkronisering och självorganisation i biologiska system.

Det är för övrigt just ABM som jag just nu håller på att kolla in, och det finns mycket att läsa, lära och programmera i ämnet. En liten drapa om mina findings kan nog förväntas inom några veckor, förevisande även några simuleringar (andras och kanske några egna).

Posted by hakank at 09:32 FM Posted to Dynamiska system | Social Network Analysis/Complex Networks

juli 24, 2003

Namngivning av barn

Även hur vi döper barn är ålagd power-law (se nedan för referenser).

Se vidare Nature-artikeln Baby names a game of chance och Australian Broadcasting Company Online-artikeln Baby names drift like genes. Originalrapporten är Drift as a mechanism for cultural change: An example from baby names (PDF).

En annan forskare (matematiker) refereras i Nature-artikeln: Many social phenomena that arise by chance follow power laws, agrees mathematician Geoff Rodgers of Brunel University in Uxbridge, UK. He has shown how the herding behaviour of stock-market traders can make certain shares vastly more popular than the majority. "In the stock market, people don't discriminate between a good rumour and a bad one," he says.

(För den nyfikne, se även Geoff Rodgers publikationslista, där finns en del papers om liknande fenomen.)

Mer om power-laws finns t.ex. här:

Posted by hakank at 09:36 FM Posted to Social Network Analysis/Complex Networks

juli 23, 2003

Komplexitet i mjukvaruarkitektur

I forskningsrapporten Hierarchical Small Worlds in Software Architecture används tekniker från teorin om komplexa nätverk för att undersöka komponentstrukturen i flera olika större utvecklingsprojekt. Man hittar - naturligtvis! - "small worlds-"effekter och skafria beteenden.

Abstract : The components of a large software application do not interact in random ways. Instead, class diagrams exhibit remarkable topological similarities to other natural and artificial systems. The components of a large software application are very well connected because the mean shortest distance between them is very low in spite of having a relatively small number of connections per class. In addition, these diagrams are very heterogeneous. These measurements are of a general nature and are largely independent of the particular semantics of the application. As shown in this paper, and irrespective of the specific features of each system analyzed, the final outcome of software evolution is a small world, hierarchical class diagram with well-defined statistical properties. The consequences for software evolution are outlined.

Från rapportens avslutande kommentarer: The important point of our work is that different software architectures share the same universal topological features, that is, small-worldness and scale-free behavior. This is a very surprising result and raises several interesting questions about how we (as human designers) organize knowledge and express the inner workings of a very complex, and abstract machine.

Posted by hakank at 10:27 EM Posted to Dynamiska system | Systemutveckling

Chance News (och sajt)

Senaste numret av Chance News (May 2, 2003 .. July 20, 2003) är nu ute.

För den som inte kommit i kontakt med denna skrift kommer en liten kort beskrivning. Chance News samlar och kommenterar nyheter, notiser etc om användande (ofta missbrukande) av sannolikhetsteori och statistik, främst i olika populärmedia. Ofta avslutas en sådan notis med en liten övning åt läsaren. Målgrupp för tidningen är nog främst lärare i matematik, statistik och sannolikhetsteori och forskare som använder dessa verktyg samt journalister, men även den allmänna massan (som jag alltså tillhör) kan få ut mycket av denna tidning.

Notiserna kan vara mycket korta eller långa analyser. Alla nummer sedan 1992 finns arkiverade. Längst ned på första sidan kan man söka bland notiserna. T.ex. en sökning på Robert Matthews.

Det föreliggande numret tar bl.a. upp en rapport om att företag som tagit bort internetkopplade attribut från sitt namn (.com, .net etc) förbättrar sina resultat, några Marilyn vos Savant-svar, en redogörelse för sannolikheterna i ett val i Texas (USA), resultat från forskning om passiv rökning, likheter mellan olika språk (lite om Zipfs lag), etc.

På samma sajt finns det även några utomordentliga (RealAudio) föreläsningar hållna på en "populärnivå". Några i högen (finns lite längre ned på sidan):

Läs gärna även lite artiklar/böcker på Articles and Books.

Posted by hakank at 09:56 EM Posted to Statistik/data-analys

juli 22, 2003

Edge

Det senaste numret av Edge innehåller: The Politics of Christianity: A Talk with Elaine Pagels.. Det förra var om Murray Gell-Mann.

Posted by hakank at 07:48 FM Posted to Dynamiska system

JMLR - Journal of Machine Learning Research

The Journal of Machine Learning Research (JMLR) har nu ett specialnummer om The Fusion of Domain Knowledge with Data for Decision Support. Gå till JMLR, klicka på Papers, rulla ner lite och välj under "Special Issues".

Jag rekommenderar även specialnumren om Variable and Feature Selection och Machine Learning Methods for Text and Images

Posted by hakank at 07:39 FM Posted to Machine learning/data mining

juli 18, 2003

Naturliga rörelser

Av en ren slump råkade jag även läsa artikeln Darwin in a Box där det skrivs om program som lär sig olika mänskliga rörelsemönster, t.ex. att gå. En av användningarna är att skapa naturliga rörelser som sedan visas i dyra Hollywood-produktioner.

A.C.T. - How it Works och Demos finns några mycket enkla demofilmer.

Posted by hakank at 09:49 FM Posted to Diverse

Könsbestämning av text

I artikeln Computer that can tell the write sex just by reading berättas om ett program som automatiskt identifierar (med 80% säkerhet) om en text är skriven av en man eller kvinna.

A computer programme has been developed which can distinguish our sex simply by looking at the way we write.

But rather than looking at words for their macho posturing or feminine sense, the Israeli-developed programme has confirmed what many scholars already thought - women focus on people while men prefer to concentrate on things.


Skaparen av programmet är Moshe Koppel. Paper som refereras: Automatically categorizing written texts by author gender (PDF) och Gender, Genre, and Writing Style in Formal Written Texts (PDF).


Se även det urval av papers som Koppel gjort för sin seminarieserie om machine learning och textklassifikation Machine Learning Seminar 2002.

Notera att åtminstone en länk strular. Ladda ner Naive (Bayes) at Forty: The IndependenceCiteseer .

Posted by hakank at 09:14 FM Posted to Machine learning/data mining

Skapa dina egna moln

Jag är inte alls någon expert i hur man skapar och renderar naturfenomen såsom moln men detta program verkar skojigt.

Se vidare Real-Time Cloud Rendering and Animation. Det finns också några snygga demonstrationer på sidan.

Man kan tydligen ladda ner det inom kort: A downloadable executable will be available July 22, 2003!

Posted by hakank at 08:32 FM Posted to Diverse

juli 17, 2003

Bok: "Modeling the Internet and the Web"

Boken Modeling the Internet and the Web Probabilistic Methods and Algorithms verkar vara intressant. Den borde man (också) läsa.

Pierre Baldi har även skrivit Bioinformatics: The Machine Learning Approach, Second Edition (Adaptive Computation and Machine Learning), om maskininlärning i bioinformatik. En trevlig sak.

Posted by hakank at 11:07 FM Posted to Böcker | Machine learning/data mining

Data mining-forskare försvarar sitt fält

I ett öppet brev "Data Mining" Is NOT Against Civil Liberties (PDF-fil) förklarar data mining-forskare i en av de mest ansedda sammanslutningarna (ACM Special Interest Group on Knowledge, Discovery and Data Mining, SIGKDD) sin inställning till data mining och individens rättigheter, speciellt med anledning av diskussionerna kring det amerikanska TIA-projektet (numera uttytt "Terrorism Information Awareness" tidigare "Total Information Awareness").

The main goal of this letter is to help differentiate the data mining technology from data collection and specific applications in specific domains. We believe that the most signif icant sources of danger to civil liberties are the unnecessary and unauthorized collection of data, and misuse of collected data, including the use of wrong data, the use of data in unauthorized ways, the wrong and unauthorized dissemination of data, and reaching wrong conclusions from data.

We are concerned that recent newsmedia reports and a recent press release from the US ACM Public Policy Committee (see http://www.acm.org/usacm/Letters/tia_final.html) may have contributed to this misimpression. We are concerned that the proposed S. 188 Data Mining Moratorium Act of 2003 (see http://feingold.senate.gov/~feingold/releases/03/01/2003116745.html ) does not reflect a sound understanding of data mining science, technology or applications. Finally, we are concerned that the public debate has not distinguished between the research and development of data mining technology and the application and use of these technologies by specific agencies on specific data for specific purposes.

...Data mining is but one of many technologies that may be used in these projects. Other technologies include database management, online analytical processing, speech recognition, image (face, iris, fingerprint, etc.) recognition, natural language understanding and translation, data warehousing, data integration, information retrieval, etc. Does it make sense to attempt to outlaw any or all of these?

I notisen Can Total Information Awareness work or how can you separate bad coins from good ones? skrivs lite om de sannolikhetsteoretiska problemen som finns i TIA. Se även The Homeland Security Act and the proposed DARPA "Total Information Awareness" (TIA) program.

Posted by hakank at 10:47 FM Posted to Machine learning/data mining

Biologiska klockor påverkas av hjärnans temperatur?

The Brain's 'Timex': Biological Clock More Influenced By Temperature Than Light

Taken together, Herzog's findings indicate that, to avoid jet lag on our next trip to Paris, we should be sure to see the dawn while keeping our brains cool. Future work might lead to a better understanding of what changes brain temperature and why.

Jag hoppas att resultatet kommer att vara till större nytta för mänskligheten än att endast bota jet lags.


I boken Sync: The Emerging Science of Spontaneous Order skriver Steven Strogatz mer om biologiska klockor och andra typer av synkroniseringsfenomen.

Posted by hakank at 09:18 FM Posted to Komplexitet/emergens | Social Network Analysis/Complex Networks

Hur bra är vi på att avslöja en lögn?

I So How Do You Spot a Liar? berättas om en undersökning hur bra vi är på att avslöja någon som ljuger.

... But the latest psychological research suggests we are not as good at spotting deception as we think we are. The average rate of lie detection is just 44 per cent, which is a worse result than we would get if we based decisions on the toss of a coin.

It is this body language which holds the real key to detecting lies. A change in body language as the sophisticated interviewer switches from a topic where it is known the interviewee is telling the truth to one where lying is possible can be a real giveaway.

I en annan artikel Study shows language loss may improve ability to spot lying beskriver man en grupp som verkar klara lögndetektion något bättre.

While previous research – including studies conducted by Ekman – has shown that people in general have only a 50/50 chance of detecting when someone is lying by their expression or tone of voice, the aphasia patients were able to detect lies cued by facial expression alone 73 percent of the time. The other study groups all had close to 50 percent accuracy in recognizing lies tied to facial expressions. The aphasia patients also did better than the other groups in detecting lies cued by both facial and vocal changes – 60 percent compared with about 45 percent. None of the groups did well in recognizing lies cued by changes in vocal pitch alone.

Se även min tidigare Lying Words om att avslöja lögn via en skriven text.

Posted by hakank at 09:05 FM Posted to Kognitiva illusioner

juli 14, 2003

Litterärt om kaosteori - fortsättningen

För nästan en månad sedan (den 18 juni) skrev jag lite om Litterärt om kaosteori med några referenser till icke-fack-böcker om kaosteori.

I dag frågade Tatjana Samopjan om jag visste några nordiska författare som skrivit om kaos. Hennes fråga finns i kommentarerna till ovanstående inlägg, liksom mitt, ganska utsvävande, svar.

Jag fick sedan även tipset om att Unni Drougges roman Regnbågens tid skulle beröra kaosbegreppet, fraktaler närmare bestämt. En recensioner där detta diskuteras är Inger Littbergers I Regnbågens tid: bland humana häxor, healers och hackers i Unni Drougges värld (finns lite längre ned på sidan).

Fler tips om nordisk och icke-nordisk skönlitteratur emottages tacksamt.

Posted by hakank at 06:38 EM Posted to Böcker | Dynamiska system | Comments (1)

juli 13, 2003

Senaste Complexity Digest

Complexity Digest 2003.28.

Några intressanta saker:

Posted by hakank at 07:18 EM Posted to Komplexitet/emergens

Miljöoptimism - en liten sökmotorresearch

Efter det jag skrev häromdagen parentetisk om Julian Simon och hans teknik-/miljöoptimism gjorde jag lite sökmotorsresearch för att veta mera. Det började med Julian Simon men gick rätt snabbt över till en liten studie i Lomberg-debatten.


Julian Simon vs. systemtänkarna
Först letade jag specifikt efter mer material om kontroversen mellan Julian Simon och hans åsiktsmotståndare i systemdynamikerlägret. Jag hittade lite grand (jag har gjort lite länkningar till den ursprungliga texten):

I föredragsanteckningen Future growth skrivs t.ex. Of course, there are some critics criticizing the working of the Beyond the Limits concept [boken är skriven av några av de mest kända systemtänkarna. hakanks anm.]. I think the most important one is that of Julian Simon, in his well known book called Ultimate Resource. He rejects this very pessimistic scenario in favor of a more optimistic vision, saying that our standard of living has been rising, we have less resource shortage, we have lower cost, and in fact increased availability of resources including cleaner environment and greater access to natural recreation areas.


På sajten Sustainability: An Introduction for Environmental Studies Students skrivs:
... In contrast, cornucopians perceive the environment as rich in natural resources. Cornucopians expect technology and free markets to find substitutes for any resources that are in limited supply, and think that human ingenuity will preclude scarcities. In this view, there are no effective environmental limits on economic growth.

The most extreme cornucopians, such as economist Julian Simon, insist that human population growth is not a problem at all, because each person born offers skills and ideas which can be applied to counter any potential difficulties that humanity may face during their lifetime (Simon 1981, 1996). A related but less extreme viewpoint is that there is a limit to the human population the Earth can support, but that this limit is much higher than our present population. In this way of thinking, human population growth will level off on its own, through natural demographic transitions, before any catastrophes occur.

The contrasting views of the catastrophists and cornucopians (respectively) were expressed most famously in the Club of Rome's provoking book 'Limits to Growth' (Meadows et al. 1972) and a countering book titled Models of Doom: A Critique of the Limits to Growth (Cole et al. 1973). Meanwhile, the Green Revolution has made it possible to feed more people than ever before. Research shows that we produce enough food for everyone in the world, and that people are starving because of problems with the distribution of food. Also, it has become apparent that mineral resources are common on much of Earth and, for a number of reasons, are unlikely to be in short supply in the next 100 years (Hodges 1995).


Lomborg-debatten
Rätt snart hittade jag dock Lomborg-debatten, dvs diskussionen om dansken Bjørn Lomborgs bok Environmental Skepticism. Boken finns även översatt till svenska: Världens verkliga tillstånd. Lomborgs egen webbsida för boken är http://www.lomborg.com/ där han möter kritikerna. Det finns recensioner och kommentarer från andra som är mer positiva än de flesta av länkarna nedan.

Boken (som jag alltså inte läst) är uppenbarligen skriven i samma anda som Julian Simons skriverier, nämligen en stark miljö-/teknikoptimism som i princip innebär att de miljöproblem (eller befolkningsproblem) som vi nästan dagligen läser om, inte finns eller är starkt överdrivna. Å, om det vore så väl!

En recension av boken jag läste någon gång förra året var t.ex. Skeptical About The Skeptical Environmentalist i Skeptical Enquirer, som bl.a. går i genom några av felsluten i boken och är kritisk till den påstådda vetenskapsskepticismen i boken: The oddity is that the book, while claiming to be a skeptical review of a wide body of "doomsaying" environmental studies, should itself be subject to a healthy dose of skepticism. A reasonable layperson is likely to look askance at Lomborg's claims that virtually every environmental indicator is better than scientists claim, including world hunger, global warming, forest depletion, species extinction, loss of nonrenewables, acid rain, as well as water, air, and wastewater pollution. A reasonable person is also likely to view with marked disbelief Lomborg's claims that all that bad news is the result of a directed and concerted cabal of environmental pressure groups to conceal the truth. In a nutshell, the truth may be out there . . . but not in this book..

En rätt lång (58 sidor) genomgång av boken som är betydligt mer detaljerad och teknisk än föregående recension är Some Realism About Environmental Skepticism: The Implications of Bjørn Lomborg s The Skeptical Environmentalist for Environmental Law and Policy skriven av Douglas A. Kysar. Jag förstod inte riktigt alla tekniska (biologiska, ekologiska, ekonomiska) detaljer men fick ändå en känsla för denna debatt. Kysar verkar i alla fall vara sakligt argumenterande även om det här och där finns en del lite onödiga ironiska slängar åt Lomborg.

Det är mycket märkligt att - som Lomborg tydligen gör - endast utgå från ekonomiska indikatorer för att bedöma hur stora miljöproblemen är. Det verkar också, som vanligt i denna typ av debatter, som om åsiktsmotståndarna pratar rätt mycket förbi varandra genom att ha helt olika förutsättningar om vad som verkligen är problemet, hur man ska mäta effekter samt hur man ska tolka existerande data.
Kysar och andra gör det tydligt att det även är en mycket politisk debatt och inte bara handlar om vetenskapliga argument. Det är ju bara att jämföra med den pågående EMU-debatten som från början verkade vara en "teknisk" debatt!

Efter en mycket starkt kritik från mängder av framstående miljöforskare undersökte den danska "Udvalgene Vedrørende Videnskabelig Uredelighed" bokens vetenskaplighet och skrev sin dom i Decision regarding complaints against Bjorn Lomborg bl.a.:


Ruling:

Objectively speaking, the publication of the work under consideration is deemed to fall within the concept of scientific dishonesty.

In view of the subjective requirements made in terms of intent or gross negligence, however, Bjørn Lomborg's publication cannot fall within the bounds of this characterization. Conversely, the publication is deemed clearly contrary to the standards of good scientific practice.

Man ska dock notera att deras "dom" inte är en bedömning huruvida teserna som framförs eller slutsatser som drages är sanna eller falska vilket flera av Lomborgs kritiker hävdat eller antytt. I The Lomborg Case and the debate (från 10 januari 2003) klargör man:
The debate in progress on the Lomborg Case provides cause to correct a recurring and grave misunderstanding.

It appears from a series of contributions and statements made in the media that many journalists, commentators, politicians and scientists view the ruling from the Danish Committee on Scientific Dishonesty (DCSD) as a position adopted on whether Bjørn Lomborg's book "The Skeptical Environmentalist" is right or wrong-true or false, if you like. However, it is not DCSD's task to answer this question. In this, as in similar cases, DCSD's brief is solely to decide whether the procedures foreseeably adopted during the production of a scientific work have actually been observed.

Dvs man har endast bedömt om tillvägagångssättet (research, argument etc) varit vetenskapligt och inte huruvida slutsatserna är sanna eller falska.


Det finns mycket mer skrivet om Lomborgs bok och debatten. Här är några länkar, flera av dem har referenser till andra skrifter.


En rätt ny artikel (skrevs 9 juli 2003) är The Bad News Bearers

Några referenser som nämns i artikeln eller kommentarerna (finns i slutet av artikeln):


En i övrigt intresant sajt om "informationsförorening" är http://info-pollution.com/: Welcome to Info-pollution. Here I look at the wide variety information pollution. While I will try to look at all forms, I will concentrate on the areas I am most interested in, including anti-environmental myths and skepticism.

Posted by hakank at 09:57 FM Posted to Diverse

juli 11, 2003

Resampling - Statistik utan tårar

När jag nu läser om systemdynamik och dess förespråkare har jag flera gånger kommit att tänka på Julian Simons Resampling-projekt som innebär att lära ut 'statistisk utan tårar'.

En parentetisk not: Julian Simon är möjligen mer känd som en "miljöoptimist"/"teknikoptimist" vilket - intressant nog - går stick i stäv mot slutsatser som vissa systemdynamiker kommit fram till. Se till exempel Julian Simons Bet. Notera att jag inte alls är någon expert i denna debatt, knappast - och tyvärr - inte ens newbie. Jag vet inte heller om Simons miljöoptimism är kopplad till hans resamplingprojekt på något sätt, men inget jag läst i hans resamplingsskrifter har antytt detta, mer än möjligen i något förfluget exempel.

Efter denna utvikning: tillbaka Simons resampling. Simon var mycket kritiskt till hur statistisk analys lärs ut i skolorna och används av statistiker. Den statistika formalismen - menar Simon - har dels som konsekvens att det är få som förstår vad statistikerna pratar om och därmed har svårt att följa tankegångar och slutsatser som bygger på statistisk analys. Dels passar den statistika teorin endast för vissa typer av problem som ofta inte är speciellt realistiska i "den verkliga världen". Ett annat problem är att även enklare sannolikhetsteoretiska resonemang är svårt för en icke invigd att ta till sig. Hans lösning var att man i stället skulle lära ut en teknik för att göra analyser tillgängliga för alla - en statistik utan tårar.

Likheten mellan Simon och systemdynamikerna är att man försöker få ut ett mer tillgängligt sätt att använda matematiska metoder till dem som inte är matematiskt skolade. För Simon var det den matematiska statistiken som kritiseras, för systemdynamikerna var det dynamiska system med differens-/differentialekvationer. Båda mycket lovvärda projekt!

Här kan man också jämföra med t.ex. John Allen Paulos Innumeracy, som är en mycket arg och mycket bra bok om att vi är väldigt dåliga på att förstå även enkla statistiska/sannolikhetsteoretiska resonemang och konsekvenserna av detta. Paolos böcker ger dock ingen systematisk lösning på hur man löser problemet, villket Simon gör.

Simons lösning heter alltså resampling, vilket helt enkelt innebär är att man simulerar problem i stället för att försöka få in dem i statistikens matematiska apparat (som kan vara mycket komplicerad att förstå). Simuleringen görs genom att programmera problemet med ett programspråk. Simon skapade ett system med ett eget programspråk, Resampling Stat, som endast är till för sådana simuleringar, vilket gör det enkelt att förstå och använda. I ärlighetens namn måste jag säga att jag inte kört just Resamplig Stats speciellt mycket; i stället har jag använt statistikspråket R, Java eller andra generella språk. Däremot har jag översatt mycket Resampling Stat-kod, och kortare tester med Resampling Stats gör att jag tycker det verkar lätt att använda för någon som inte har programmeringserfarenheter.

Väldigt mycket mer om Resamplig Stats finns på www.resample.com. En utomordentligt trevlig introduktionsbok Resampling: The New Statistics finns online.

Båda systemdynamikernas och Simons resamplingsmetoder går alltså ut på att förstå verkliheten genom att simulera den, däremot gör systemdynamikerna det vanligen i mycket mer grafiskt aptitliga system.

För några månader sedan skrev jag en hel del om resampling etc i Lite om resampling, simulering, sannolikhetsproblem etc. som jag hänvisar till. Sidan innehåller en hel del relaterade länkar, och en massa simuleringar (skrivet främst i R) av sannolikhetsteoretiska problem av olika digniteter.

Personligen anser jag att man bör, om det är möjligt, kombinera (Simons) simuleringsmetoder och mer formell statistisk analys. Man kan t.ex. använda resampling/simulering för få en känsla för problemet, prototypa problemet, kontrollera resultat eller om man inte är expert inom statistisk analys.

I den (formella) statistiska analysen finns det även något som heter resampling som har mycket av Simons idé, och är en accepterad och matematiskt väl underbyggd teori. Men den är inte lika enkel att ta till sig som Simons mer pedagogiska variant.

Ett tips är att börja läsa Simons skrifter och sedan läsa mer formell statistik och sannolikhetslära. En utmärkt introduktion i sannolikhetslära är Introduction to Probability av Charles M. Grinstead och J. Laurie Snell, som också använder mycket simulering för att visa hur begreppen hänger i hop. Det finns kod skriven i Mathematica, Maple, True Basic och Java Applets. Själv gjorde jag exempel och övningar i R.

En utmärkt svensk bok om sannolikhetsproblem är Sant eller sannolikt : Tankar kring matematik, statistik och sannolikheter av Allan Gut. Det är dock ingen lärobok utan innehåller en mängd essäer i ämnet.


En sista not: Jag har även testat att modellera några enklare sannolikhetsproblem, av den typ som Simon koncenterar sig på, i systemdynamikprogrammet Vensim. I vissa fall kändes de inte riktigt lika enkelt som att programmera problemen i R eller Java, möjligen är detta en vanesak. Fortsatt forskning pågår...

Posted by hakank at 11:15 FM Posted to Dynamiska system | Statistik/data-analys

juli 10, 2003

Farliga rekommenderare

Jag är en sucker för "rekommenderare" (recommender systems), och använder ofta t.ex. Amazons bokrekommenderare, både den generella "Customers who bought this item (se t.ex. en av mina favoritböcker i ämnet data mining), och den imponerande personliga rekommenderaren (som dock kräver inloggning). Även bokus har ett rekommenderarsystem, men det är inte riktigt lika imponerande som Amazons.


För ett tag sedan rapporterades om en undersökning,
Recommenders can skew results
, om tillförlitligheten i liknande system och hur de kan påverka användarna av dem. Några citat:

Displaying a prediction introduces bias, said Joseph Konstan, an associate professor of computer science and engineering at the University of Minnesota. "Lying by [skewing rankings] higher or lower... biases the subsequent rating in that direction," he said. "Even the 'correct' rating led people to select that value more often."
....
The distortion this chain of events induces may influence consumer buying in the short-term, but adversely affects long-term consumer trust in the system, said Konstan. "While a system can get away with a small degree of lying... in the long run dishonesty erodes trust and satisfaction," he said.

Se även Good Ratings Gone Bad.

Ett annat exempel hur rekommenderare påverkar ens val, är Dived we Stand??? där det görs en liten undersökning om köptendensen av politiska böcker: It appears that echo chambers have emerged that repeat a consistent message within each cluster. Ron Burt, a leading network expert, explains that a tightly closed network "amplifies predispositions, creating a structural arthritis in which people cannot learn what they do not already know"[PDF...]. With no direct bridges between the clusters, these divisions are unlikely to change any time soon.

För mer om rekommenderare / collaborative filtering, se t.ex.:

Posted by hakank at 09:43 FM Posted to Machine learning/data mining | Rekommendationssystem

juli 09, 2003

Etik-AI

Så har vi alltså fått det första fungerande AI-programmet som klarar följande: Imagine calling a customer service line and speaking to an operator who, after listening not just to your questions but your tone of voice and assessing your overall attitude, is able to determine where she should most appropriately direct your call. ... . Det hävdas i artikeln L.V. man patents 'ethical' artificial intelligence program:

LaMuth said his innovation represents the first language analyzer that incorporates ethical and motivational terms as part of a computer system.

"It enables a computer to reason and speak in an ethical fashion," LaMuth said. "Nobody has made an application like this."

A computer with LaMuth's artificial intelligence programming would be able to hold a conversation using human qualities, therefore allowing it to function in the capacity of a human being, such as an interviewer or receptionist, he said.

Å andra sidan: If a company were to use the artificial intelligence, its computer system could act as a receptionist and limit the number of menus an individual must go through to finally talk with an actual person when calling large corporations, LaMuth said..

Så om systemet endast begränsar olika möjligheter i en meny (trädstruktur) är det inte helt omöjligt att systemet klarar det bättre än slumpen. Men det är ingen "konversation" i min bok.

Jag har nu inte läst allting (inklusive patentet) i detalj men är ändå synnerligen skeptisk till att detta verkligen funkar som vi leds att tro. Att man får något patenterat bevisar ju inte något...

Lite mer info: Semantic web-listan (från 4 juli) där LaMuth själv skriver om sitt patenterade system. Och i sci.psychology.announce. Patentet finns här.

Det står mer på en av hans bok-sidor (sök efter "artificial" för att komma till avsnittet om AI) och på www.ethicalvalues.com.

Posted by hakank at 08:02 EM Posted to Artificiell intelligens

Socialt avstånd - och semantiskt

Råkade stöta på lite artiklar om något som väl kan kallas för socialt eller psykologiskt avstånd.

Copycat waitresses get bigger tips refererar en undersökning som - enligt artikeln - är den första som studerar hur härmning av ett beteende påverkar den härmade. Här studerashur dricksen på en restaurang påverkas av hur kyparen beter sig.

En "related stories" var Help for names' sakes. When seeking help from a stranger, ask someone who shares your name: people are more likely to assist a namesake, an e-mail study has revealed. ...About 12% of those sharing both names responded, compared with less than 2% of people sharing none. A shared first name or surname got a smaller response, but was better than nothing.
Så man kanske skulle ta tillbaka namnet Andersson (som min far hette innan de bytte till Kjellerstrand). Enligt Eniro, privatpersoner finns det 250 stycken "Håkan Andersson". Vilket ju är avsevärt fler än 1.

En annan relaterad artikel: We like the look of lookalikes: We're more likely to trust someone who looks a bit like us, says a psychologist. The same tendency may have helped our ancestors to help their kin.


En liten aside: Själv har jag sedan länge varit fascinerad av semantiska avstånd, dvs hur nära ord är till andra och även hur man skapar ord som liknar varandra, speciellt vitsar. Se t.ex. mina små program Nearest words eller New Markov Words II eller Markov generated proverbs.

Posted by hakank at 10:15 FM Posted to Diverse | Kognitiva illusioner | Komplexitet/emergens | Program

juli 08, 2003

Skadliga metaforer?

I Natural Enemies--Metaphor or Misconception? görs en undersökning hur metaforer används i den biologiska vetenskapen, och speciellt användningen av metaforen "Natural Enemies". Man diskuterar även t.ex. "survival of the fittest". Se även Science Historians Ponder Naming 'Enemies' In Science Literature.

Naturligtvis är inte biologerna de enda vetenskapare som använder sådana "farliga" metaforer. Vi gör det alla och ständigt. För mer om metaforer se t.ex. en metafor-kurs. (Länk via Det perfekta tomrummet).

För övrigt kan jag verkligen rekommendera Metaphors We Live by som är en ypperlig bok om metaforer.

Posted by hakank at 11:08 FM Posted to Diverse | Comments (2)

juli 05, 2003

Bostreams mailserver nere

Suck!

Sedan cirka 21.30 i går kväll har Bostreams mailserver varit nere, vilken innebär att jag varken kunnat hämta eller skicka mail under alla dessa timmar.

Om du av någon anledning vill kontakta mig under tiden kan du t.ex. kommentera denna artikel. Tänk dock på att kommentarerna är publika så alla kan läsa dem.

UPDATE Hurra! Nu (12.37) funkar mailen igen!

Posted by hakank at 11:57 FM Posted to Diverse

juli 04, 2003

Systemdynamik

En av anledningarna till min relativa tystnad de senaste dagarna är att jag kollat in mer om dynamiska system, det som Thorvald Freiholtz skrev om härom veckan. Det är väldigt intressant.

Jag har skrivit lite om mina första erfarenheter, speciellt olika dokument att läsa, system att testa etc. Dokumentet är dock för stort för att ha i min blogg, därför finns det som ett separat dokument: Systemdynamik - System Dynamics.

Och om jag är tyst den närmsta tiden beror det kanske på att jag sitter och modellerar.

Posted by hakank at 08:26 EM Posted to Dynamiska system | Comments (6)

Automatiserat detektivarbete

'Sherlock Holmes' thinks lateral for murder cops beskriver ett forskningsprojekt kring automatiska slutsatsdragningar vid brottsplatsundersökning.

Mer teknisk information om projektet, inklusive papers, finns på The Model Based Decision Support System for Crime Investigation. Det finns också en enkel Java-prototyp att ladda ner. Jag lekte med det en liten stund och blev inte imponerad, men när systemet väl är utvecklat kan det kanske bli något.

Samma forskningscenter (The Joseph Bell Centre for Forensic Statistics and Legal Reasoning) har ett annat intressant projekt ff POIROT - Financial Fraud Prevention Oriented Information Resources using Ontology Technology : Positioned in the context of Semantic Web endeavour, the project seeks to build computable knowledge resources, ontology of financial forensics, from financial and legal expertise in detecting and preventing fraud in VAT processes, securities exchange, investment and banking and insurance services. Speciellt kopplingen till Semantic Web är spännande.

För mer kvantitativa tekniker att avslöja bedrägerier, se t.ex. Artificial Intelligence and Fraud Detection / Fraud Management .

Posted by hakank at 09:59 FM Posted to Machine learning/data mining

juli 01, 2003

folkvett.

Häromdagen fick jag det nya numret av folkvett. som ges ut av Föreningen Vetenskap och Folkbildning .

Föreningen (citat från sajten) har till uppgift att främja folkbildning om vetenskapens metoder och resultat. Särskilt tar föreningen som sin uppgift att i en fri opinionsbildning bekämpa de felaktiga föreställningar som förekommer i frågor som kan avgöras vetenskapligt.....

Tidningen kommer ut 4 gånger per år. Denna gång var det en blandad kompott, t.ex. om nya bibelöversättningen, Jesper Jerkert skriver en kritisk granskning av slagrutor och det görs en recension om datalogiavhandlingen Shadows of Cavernous Shades: Charting the Chiaroscuro of Realistic Computing av Erik Persson. Sydsvenskan hade, förresten, häromdagen en kort notis om denna recension [se nedan].

Det var även en artikel om språkmyter där artikelförfattaren (Niels Hovmöller) går till strid mot språkpoliserna. Och jag håller helt med honom i att vi bör ha en mer sansad inställning till vad som är korrekt i svenskan. (Jag vill inte gå så långt som att jag kallar mig för 'språktjuv', men börjar gärna en mening med "Och" eller "Jag". Eller "Eller".)

Se en fullständig lista över de publicerade artiklarna; en herrans massa bra artiklar från tidigare nummer finns online. Det är bara att läsa. Och gå med i föreningen!

Just det. Ett inte helt orelaterat boktips:

Högskolans Lågvattenmärken
(bokus länk) är en antologisamling samlade av Sven Ove Hansson (professor i filosofi och råkar vara en av redaktörerna för folkvett.) och Per Sandin. Bokens tema är svensk universitetsforskning i det som man brukar kalla för pseudo-vetenskap. En bra folkvett.-recension finns att läsa här.


Senare uppdatering:
Länken fill artikeln i Sydsvenskan som jag nämner ovan har jag nu hittat: Gud-vetenskapen slutade 2-1

Posted by hakank at 09:35 EM Posted to Böcker | Skepticism, parapsykologi etc

Lambda the Ultimate - om programspråk

Lambda the Ultimate - 'The Programming Languages Weblog' är en webblogg om programspråk och utveckling av programspråk. Många bra insikter, diskussioner och - framför allt - referenser.

Posted by hakank at 07:13 EM Posted to Sajter