Het bericht Baidu gaat een slimme AI-bril lanceren tijdens Baidu World verscheen eerst op DutchCowboys.

Emteq Labs wants eyewear to be the next frontier of wearable health technology.

The Brighton, England-based company introduced today its emotion-sensing eyewear, Sense. The glasses contain nine optical sensors distributed across the rims that detect subtle changes in facial expression with more than 93 percent accuracy when paired with Emteq’s current software. “If your face moves, we can capture it,” says Steen Strand, whose appointment as Emteq’s new CEO was also announced today. With that detailed data, “you can really start to decode all kinds of things.” The continuous data could help people uncover patterns in their behavior and mood, similar to an activity or sleep tracker.

Emteq is now aiming to take its tech out of laboratory settings with real-world applications. The company is currently producing a small number of Sense glasses, and they’ll be available to commercial partners in December.

The announcement comes just weeks after Meta and Snap each unveiled augmented reality glasses that remain in development. These glasses are “far from ready,” says Strand, who led the augmented reality eyewear division while working at Snap from 2018 to 2022. “In the meantime, we can serve up lightweight eyewear that we believe can deliver some really cool health benefits.”

Fly Vision Vectors

While current augmented reality (AR) headsets have large battery packs to power the devices, glasses require a lightweight design. “Every little bit of power, every bit of weight, becomes critically important,” says Strand. The current version of Sense weighs 62 grams, slightly heavier than the Ray-Ban Meta smart glasses, which weigh in at about 50 grams.

Because of the weight constraints, Emteq couldn’t use the power-hungry cameras typically used in headsets. With cameras, motion is detected by looking at how pixels change between consecutive images. The method is effective, but captures a lot of redundant information and uses more power. The eyewear’s engineers instead opted for optical sensors that efficiently capture vectors when points on the face move due to the underlying muscles. These sensors were inspired by the efficiency of fly vision. “Flies are incredibly efficient at measuring motion,” says Emteq founder and CSO Charles Nduka. “That’s why you can’t swat the bloody things. They have a very high sample rate internally.”

Sense glasses can capture data as often as 6,000 times per second. The vector-based approach also adds a third dimension to a typical camera’s 2D view of pixels in a single plane.

These sensors look for activation of facial muscles, and the area around the eyes is an ideal spot. While it’s easy to suppress or force a smile, the upper half of our face tends to have more involuntary responses, explains Nduka, who also works as a plastic surgeon in the United Kingdom. However, the glasses can also collect information about the mouth by monitoring the cheek muscles that control jaw movements, conveniently located near the lower rim of a pair of glasses. The data collected is then transmitted from the glasses to pass through Emteq’s algorithms in order to translate the vector data into usable information.

In addition to interpreting facial expressions, Sense can be used to track food intake, an application discovered by accident when one of Emteq’s developers was wearing the glasses while eating breakfast. By monitoring jaw movement, the glasses detect when a user chews and how quickly they eat. Meanwhile, a downward-facing camera takes a photo to log the food, and uses a large language model to determine what’s in the photo, effectively making food logging a passive activity. Currently, Emteq is using an instance of OpenAI’s GPT-4 large language model to accomplish this, but the company has plans to create their own algorithm in the future. Other applications, including monitoring physical activity and posture, are also in development.

One Platform, Many Uses

Nduka believes Emteq’s glasses represent a “fundamental technology,” similar to how the accelerometer is used for a host of applications in smartphones, including managing screen orientation, tracking activity, and even revealing infrastructure damage.

Similarly, Emteq has chosen to develop the technology as a general facial data platform for a range of uses. “If we went deep on just one, it means that all the other opportunities that can be helped—especially some of those rarer use cases—they’d all be delayed,” says Nduka. For example, Nduka is passionate about developing a tool to help those with facial paralysis. But a specialized device for those patients would have high unit costs and be unaffordable for the target user. Allowing more companies to use Emteq’s intellectual property and algorithms will bring down cost.

In this buckshot approach, the general target for Sense’s potential use cases is health applications. “If you look at the history of wearables, health has been the primary driver,” says Strand. The same may be true for eyewear, and he says there’s potential for diet and emotional data to be “the next pillar of health” after sleep and physical activity.

How the data is delivered is still to be determined. In some applications, it could be used to provide real-time feedback—for instance, vibrating to remind the user to slow down eating. Or, it could be used by health professionals only to collect a week’s worth of at-home data for patients with mental health conditions, which Nduka notes largely lack objective measures. (As a medical device for treatment of diagnosed conditions, Sense would have to go through a more intensive regulatory process.) While some users are hungry for more data, others may require a “much more gentle, qualitative approach,” says Strand. Emteq plans to work with expert providers to appropriately package information for users.

Interpreting the data must be done with care, says Vivian Genaro Motti, an associate professor at George Mason University who leads the Human-Centric Design Lab. What expressions mean may vary based on cultural and demographic factors, and “we need to take into account that people sometimes respond to emotions in different ways,” Motti says. With little regulation of wearable devices, she says it’s also important to ensure privacy and protect user data. But Motti raises these concerns because there is a promising potential for the device. “If this is widespread, it’s important that we think carefully about the implications.”

Privacy is also a concern to Edward Savonov, a professor of electrical and computer engineering at the University of Alabama, who developed a similar device for dietary tracking in his lab. Having a camera mounted on Emteq’s glasses could pose issues, both for the privacy of those around a user and a user’s own personal information. Many people eat in front of their computer or cell phone, so sensitive data may be in view.

For technology like Sense to be adopted, Sazonov says questions about usability and privacy concerns must first be answered. “Eyewear-based technology has potential for a great future—if we get it right.”

Snapchat krijgt een flinke wijziging in zijn uiterlijk. Snap, het bedrijf achter het sociale medium, heeft besloten het uiterlijk te vereenvoudigen, om het gebruik ervan te versimpelen. Ook krijgt de app nieuwe AI-functies en komt er een nieuwe versie van de Spectacles, werd duidelijk tijdens de Snap partner Summit.

De vernieuwde app draait om hetgeen waar we onze telefoons het meest voor gebruiken, zegt Snap: communicatie, foto’s maken en entertainment. De vernieuwde app opent nog altijd met de camera, met aan de linkerkant een plek waar alle communicatie gegroepeerd is: Chat. In Chat zie je nu alle Stories, DM’s en de Snap Map.

Aan de rechterkant vind je gepersonaliseerde content, waarin Stories en Spotlight-video’s gecombineerd zijn. Video’s van vrienden krijgen volgens Snap prioriteit. Verder worden aanbevelingen gebaseerd op wat andere Snapchatters die je leuk vindt delen met hun gemeenschap, op wat er in jouw kring trending is en wat je zelf leuk vindt om te zien. Verder wordt het gemakkelijker om tussen persoonlijke en openbare accounts te wisselen, maar die optie is er alleen als je zestien jaar of ouder bent.

Het vereenvoudigde uiterlijk van Snapchat. Beeld: Snapchat

De vernieuwde app wordt niet direct naar alle gebruikers uitgerold, maar nu eerst getest onder een selecte groep Snapchatters wereldwijd. Wanneer de app breed wordt uitgerold, is niet aangekondigd.

Meer AI in Snapchat

Daarnaast voegt Snapchat meer AI-functies toe. Zo komen er nieuwe AI Lenses, waaronder de zogenaamde Grandparent-lens waarmee je een oudere versie van jezelf kunt zien. Verder kun je AI gaan gebruiken in je Snapchat-herinneringen. Als je vanaf de camera omhoog swipet, kun je Memories in full-screen zien. Ook kun je daar collages en video mashups vinden.

Abonnees van Snapchat+ kunnen AI verder gebruiken om eigen teksten en Lenses toe te voegen aan Memories. Ook zien zij nieuwe AI Snaps die ze met vrienden kunnen delen. Die Snaps gebruiken een feature genaamd My Selfie, waarmee Snapchatters hun eigen Snap AI-identiteit kunnen maken en beheren. Door een aantal selfies te uploaden, kunnen Snapchatters zichzelf – en eventueel vrienden die daarvoor toestemming hebben gegeven – in door AI gegenereerde plaatjes plakken. Zo kun je een afbeelding laten genereren van hoe jij en vrienden over een rode loper wandelen of samen tennis spelen.

De Grandparents Lens van Snapchat. Foto: Snapchat

De My AI-functie in Snapchat kan voortaan ook bepaalde problemen oplossen. Zo kan het Snaps van parkeerborden interpreteren, menukaarten in andere talen voor je vertalen en planten identificeren.

Klets je veel met mensen in het buitenland of zijn je vrienden met vakantie? De app gaat in chats voortaan de lokale tijdszones tonen, zodat je precies weet hoe laat het bij de ander is. Ook krijgt de app verbeterd HD-videobellen en Snap Mail. Met Snap Mail kun je een Snap achterlaten bij een vriend als diegene niet opneemt, zodat je toch in contact kunt blijven.

Spectacles en Snap OS

Snap kondigde tijdens de Summit de vijfde generatie van zijn AR-bril Spectacles aan. Deze versie van de bril wordt aangestuurd door een nieuwe besturingssysteem van Snap zelf: Snap OS. Het OS gebruikt technologie van Snap – zoals Liquid Crystal on Silicon-microprojectoren en golfgeleiders – waarmee volgens het bedrijf levendige, scherpe beelden worden gecreëerd, ook in direct zonlicht.

De nieuwe Spectacles. Foto: Snapchat

De bril bevat verder vier camera’s die de Snap Spatial Engine gebruiken om aansturing via handgebaren en stemcommando’s mogelijk te maken. Ook zitten er twee Snapdragon-processors van Qualcomm, die meer rekenkracht moeten bieden, maar met minder stroomverbruik en verbeterde warmteafvoer. Het apparaat weegt slechts 226 gram en bevat een accu die tot 45 minuten meegaat op een volle lading.

Wanneer de bril verschijnt en wat deze gaat kosten, is nog niet duidelijk.

Voor Creators

Voor creators in Snapchat komen ook meer opties beschikbaar. Zo wordt het met Easy Lens mogelijk om snel Lenses te maken aan de hand van een tekstprompt. Ook komen er meer tools naar de GenAi Suite, bijvoorbeeld Animation Library, waarmee je meerdere geanimeerde clips achter elkaar kunt plakken. Met Body Morph kun je 3D-karakters, -kostuums en -outfits maken via een tekstueel of beeldprompt. En met Icon Generation kun je icootnjes maken die je Lenses weergeven, waardoor ze gemakkelijker te vinden moeten worden voor anderen.

Stickers met vragen voor creators. Foto: Snapchat

Creators kunnen hun favoriete Snaps nu ook vastzetten bovenaan hun openbare profiel. Verder kunnen ze templates gebruiken om Snaps te maken met foto’s en video’s uit Memories en de Camera Roll. Tot slot krijgt de Replies and Quoting-functie de mogelijkheid om met een foto of video te reageren op Snaps van Creators.

Beeld: Snapchat

Lees Snapchat vereenvoudigt app, voegt meer AI toe en introduceert nieuwe Spectacles verder op Numrush