För att övervaka miljön och navigera i den verkliga världen bör roboten kunna ta bilder och miljömätningar under olika bakgrundsljusförhållanden. Under de senaste åren har forskare och ingenjörer runt om i världen arbetat med att utveckla fler och mer avancerade sensorer för att integreras i robotar, övervakningssystem eller andra enheter som kan känna av deras omgivning.
Enligt Memes Consulting har forskare från Hong Kong Polytechnic University, Peking University, Yonsei University och Fudan University nyligen utvecklat en ny typ av bionisk synsensor som använder en mekanism som på konstgjord väg simulerar näthinnans funktion och kan användas i en mängd olika data som samlades in. under ljusförhållanden. Denna bioniska synsensor är baserad på fototransistorer gjorda av molybdendisulfid.
Foto av den biomimetiska synsensoruppsättningen (vänster); schematisk struktur för synsensorenheten och optisk mikroskopbild (höger)
"Our research team started work on optoelectronic memory five years ago," said Yang Chai, one of the researchers who developed the vision sensor. "This emerging device can output light-dependent and history-dependent signals, enabling image integration. , Weak signal accumulation, spectral analysis and other complex image processing functions, the multi-functional integration of sensing, data storage and data processing into one device."
2018 publicerade Yang Chai och hans kollegor den första artikeln om optoelektroniskt minne, där de introducerade en resistiv switchminnesenhet som kan utföra ljusavkänning och logiska operationer. Ett år senare introducerade teamet en ny typ av fotoresistivt random access-minne med tre olika funktioner. Specifikt kan den nya enheten känna av miljön, lagra informationen i minnet och utföra neuromorfa visuella förbearbetningsoperationer.
"We studied the concepts of near-sensor and in-sensor computing paradigms in 2020 and published our views in the field." Yang Chai continued, "This new research on biomimetic vision sensors builds on our On top of all previous efforts."
The intensity of ambient natural light varies widely, with a total range of 280 dB. When the human retina senses external light signals, it adjusts the light sensitivity of its photoreceptors (i.e., rods and cones) according to the strength of the signal. This ultimately enables the human eye to gradually adapt to varying levels of lighting, allowing it to see clearly in both dark and bright environments, an ability known as "visual adaptation."
"For example, when you enter a dark cinema from a bright hall, you can hardly see anything at first, but after a while in the cinema, it becomes easier to see things," explains Yang Chai. "This phenomenon is called scotopic adaptation. Conversely, if you go from a dark movie theater to a sunny outdoors, you'll feel very dazzled at first, and it takes a while to get used to seeing what's going on around you. The process The opposite of dark adaptation is called photopic adaptation."
The main goal of Yang Chai and his colleagues' recent work is to build a vision sensor inspired by the structure and function of the human retina. To do this, they first started by studying the human retina and then tried to design perceptual strategies that would allow them to artificially simulate visual adaptations.
Toppmoderna-bildsensorer baserade på CMOS-teknik har vanligtvis ett begränsat dynamiskt omfång på 70 dB. Detta dynamiska omfång är dock mycket snävare än ljusomfånget för naturliga scener (280 dB).
"To achieve visual perception over a wide range of light intensities, researchers have explored the use of controlled optical apertures, liquid lenses, adjustable exposure times, and denoising algorithms in post-processing," said Yang Chai. "However, these Methods often require complex hardware and software resources."
Dark and light adaptation of biomimetic vision sensor arrays. (a) Schematic of the dark adaptation test: recognition of low-light images using an 8 x 8 pixel array in a dark environment. (b) Schematic diagram of light adaptation test: recognition of high-illuminance images using an 8 x 8 pixel array in a bright environment. (c) Dark adaptation process to identify the "8" pattern. (d) The photoadaptation process to identify the "8" pattern.
Optoelektroniska enheter med ljus-adaptiv syn och brett avkänningsområde vid sensoriska terminaler kan ha mycket värdefulla tillämpningar. De kan till exempel hjälpa till att förbättra prestandan för datorseendeverktyg, minska hårdvarukomplexiteten som krävs för att bygga robotar eller andra avkänningssystem och förbättra noggrannheten hos system för bildigenkänning.
Även om andra forskarlag har utvecklat optoelektroniska enheter som kan anpassa sig till olika ljusförhållanden tidigare. De flesta av de tidigare demonstrerade enheterna kan dock bara efterlikna näthinnans ljusanpassningsmekanism. Den mörka anpassningsprocessen har hittills visat sig svårare att simulera.
"There is still a long way to go to fully replicate the visual adaptation function of the retina," explains Yang Chai. "To achieve this, we designed a phototransistor-based vision sensor using ultra-thin semiconductors that can The degree of dark adaptation and light adaptation in the same device was controlled by applying different gate voltages. In this way, we simulated photoreceptors and horizontal cells in the retina and successfully achieved a sensing range of 199 dB. Vision-adaptive devices in biomimetic sensors."
Artificiell simulering av fotoreceptorer och horisontella celler i näthinnan för visuell anpassning (mörk anpassning och ljus anpassning)
Den biomimetiska synsensorn som utvecklats av Yang Chai och kollegor är baserad på fototransistorer gjorda av ett ultratunt halvledarmaterial känt som molybdendisulfid. Fototransistorerna de använde har flera laddningsfällor som kan fånga eller frigöra elektroner i kanalen vid olika gate-spänningar.
Ultimately, these states allow researchers to dynamically tune the conductance of their devices. This, in turn, allowed them to artificially simulate the dark- and light-adaptive mechanisms of the human retina, thereby expanding the range of their sensor's perception of different lighting conditions.
"Our bionic vision sensor has several advantages and features," said Yang Chai. "First, the visual adaptation function is implemented in a single device, which greatly reduces the footprint. Second, multiple functions can be implemented on a single device. , including light sensing, memory, and processing. Finally, dark and light adaptation under different light intensities can be achieved by controlling its gate voltage."
Yang Chai och hans kollegor utvärderade den bioniska synsensorn i en serie tester och fann att den effektivt kunde efterlikna funktionen hos den mänskliga näthinnan och uppnå anmärkningsvärda resultat i både mörker- och ljusanpassning. Dessutom har den ett betydligt högre perceptuellt område (199 dB) jämfört med tidigare föreslagna lösningar.
"Our vision sensor can enrich machine vision functions, reduce hardware complexity, and achieve high image recognition efficiency," said Yang Chai, "All these advantages are available in areas such as autonomous driving, face recognition, and industrial manufacturing in complex lighting environments. great application prospects."
I framtida studier planerar forskarna att ytterligare förbättra synsensorns prestanda, samtidigt som de använder den för att tillverka storskaliga-system som består av sensormatriser. Helst vill de bygga denna sensoruppsättning på ett flexibelt eller halvsfäriskt substrat för att möjliggöra ett bredare synfält.
"One area that needs improvement is the adaptation time of our vision sensor, as it is still not enough to support machine vision applications." Yang Chai added, "Our goal is to reduce the adaptation time to the microsecond level. In addition, the vision sensor array scale Further improvements are also needed. Our near-term target for array size is greater than 100 x 100 pixels. Finally, the heterogeneous integration of vision sensors and post-processing units, including silicon-based control circuits, is a very important step toward practical applications."
GMKJ Technology är djupt engagerad i hälsosamma och smarta ljuskällor, och tillhandahåller ett komplett utbud av UVA UVB UVC LED, infraröd IR LED VCSEL produkter och lösningar till marknaden. Det har hundratals högkvalitativa-partners på inhemska och utländska marknader för att gemensamt främja användningen av ljusteknik för att skapa ett hälsosamt och smart liv. .
