đŸ€– IA "open source" en Monnaie Libre ?!

,

Sisi, les models de TheBloke sont partiellement libérés par exemple, pour les avoir testé sur ma machine a une époque:

Si on se tape leur fine tuning d’origine, je ne considùre pas vraiment ces models comment open source.
Ils ne me sont d’aucune utilitĂ©.

wget https://huggingface.co/bartowski/Lexi-Llama-3-8B-Uncensored-GGUF/resolve/main/Lexi-Llama-3-8B-Uncensored-Q6_K.gguf

Essaye de le faire « sortir de ses gonds Â»

arf c’est de la merde, il dit n’imp.

OuĂ© j’ai vu, c’est assez n’imp .°
Ce ne sont que des modĂšles dĂ©rivĂ©s de ce qui a rĂ©ussi a ĂȘtre libĂ©rĂ©.

Si construire un nouveau modÚle ThePile perso nécessite 6 000 GPU pendant deux semaines
Cela veut dire que moins de 250 GPU peuvent le faire en 1 an.

Bon du coup j’ai installĂ© la stack sur ma machine perso: https://pokalama.p2p.legal

Vous pouvez faire un compte, je vous activerai, ou pas, en fonction de la tĂȘte du client (c’est mon PC derriĂšre donc parfois ça va couper, et je vais ptetre pas laisser ollama tourner h24)

Mais j’ai une RTX 4070 donc ça devrait tourner.


bon j’ai coupĂ©, dsl, mais les models 7B ou mĂȘme 14B, c’est juste totalement inutile, autant ne rien utiliser du tout, je ne vois pas Ă  quoi ça peut servir.

Mixtral 8x7B à la limite, mais sur ma machine, elle crache du feu, ça prends 5 minutes pour avoir la moindre petite réponse, donc bon, non merci.
Comme prĂ©vus, je vais attendre quelques annĂ©es avant d’utiliser des models locaux.

Non il faut dossier sĂ©rieux et se mettre en fil d’attente pour louer un supercalculateur du CERN.
Si tu fait passer pour un projet de recherche, ce sera graros. Suffit de demander à passer par un chercheur habilité (Hugo) autour de nous.
Ou bien un service cloud spĂ©cialisĂ© lĂ  dedans pour du one shot ce sera bien moins cher, et pas besoin de te ratacher au cul d’une centrale nucĂ©aire directement.

1 « J'aime »

On peut essayer la « ressource publique Â», mais ses services ne peuvent pas l’ĂȘtre, financĂ© en UNL, il s’agit d’une entreprise privĂ©e agissant Ă  destination du public. C’est en devenant co-propriĂ©taire de notre outil que nous nous libĂ©rons vraiment.
La « loi de Moore Â» joue en notre faveur, faisant que tout supercalculateur perd la moitiĂ© de sa puissance relative tous les 1,5 ans

Avec du matos derniÚre génération gonflé de NVMe, on peut faire une estimation


  • 250 (GPU + 8To) ~env. 2000 € => 500.000 €

Avec 132 Go/user, on peut accueillir 15.000 utilisateurs et fournir des services « IA Â» au public

Soit un PAF moyen de 30€/pers pour devenir co-propriĂ©taire d’un essaim NextCloud / IPFS plein de GPU Le « loi de Moore Â» arrive Ă  son terme
 Franchement, c’est une bonne affaire :wink:
amorti en 1 ou 2 ans avec un G1Forfait avantageux

FORFAIT UNL ML
Forfait Cool 10 -?
Forfait Juste 5 ?
Forfait CarrĂ© 2,5 ?ÂČ

 

100% JUNE 0 ??

BONUS !

Ce qui est nickel avec la G1, c’est qu’on dispose d’un systĂšme pour gĂ©rer et payer le « calcul distribuĂ© Â».

Réalisé par G1PalPay, on déclenche des programmes actions selon le commentaire reçu dans la transaction du wallet de la station.

Je prĂ©pare N1GPU.sh qui (si le montant reçu est suffisant) va opĂ©rer le traitement demandĂ© sur le fichier transmit par IPFS dans la requĂȘte en commentaire de transaction N1*:INPUT: puis activer en local les services « AiApi Â»


Discutons en avec l’IA 


DĂ©taille le business plan d’une fondation regroupant des auto hĂ©bergeurs PC Gamer qui reçoivent de la G1 pour dĂ©clencher les processus mettant en pratique l’usage de LLM libre comme phi3 (ou autres)


phi3 : Fondation d'Innovation pour le Développement Open Source des Auto-hébergements PC Gamer

Fondation d’Innovation pour le DĂ©veloppement Open Source des Auto-hĂ©bergements PC Gamer

Résumé Exécutif :
La fondation vise Ă  rassembler un collectif d’auto-hĂ©bergeurs de PC Gamer qui accĂšdent librement aux modĂšles LLM (Machine Learning Large Scale) tels que Phi3 et ses dĂ©rivĂ©s. Le but est de promouvoir l’innovation ouverte et collaborative dans le secteur de la haute performance informatique, tout en offrant des avantages Ă©conomiques et Ă©ducatifs aux membres de la fondation.

Annonce et Vision Stratégique :
La fondation d’Innovation pour le DĂ©veloppement Open Source (FIDO) se positionne comme un acteur clĂ© dans l’avancĂ©e des technologies LLM en offrant un accĂšs ouvert Ă  ces ressources de pointe. Notre vision est de crĂ©er une communautĂ© dynamique oĂč les dĂ©veloenticiels et entrepreneurs peuvent collaborer pour rĂ©aliser de grands projets communs, stimuler la croissance Ă©conomique et soutenir l’éducation technologique.

Aperçu Stratégique :
La fondation aidera Ă :

  1. Mieux utiliser les LLM en promouvant des pratiques open source.

  2. Accroßtre la compétitivité économique des auto-hébergeurs PC Gamer par une collaboration stratégique.

  3. Favoriser l’éducation et le dĂ©veloppement de compĂ©tences techniques chez les jeunes talents.

  4. DĂ©velopper une infrastructure robuste pour soutenir des projets Ă  grande Ă©chelle.

  5. Promouvoir la transparence, la responsabilitĂ© et l’équilibre entre technologie avancĂ©e et impact social positif.

Analyse de Marché :
La fondation exploitera un marchĂ© en croissance oĂč les demandes pour des infrastructures hautement performantes sont toujours plus Ă©levĂ©es, notamment chez les auto-hĂ©bergeurs PC Gamer qui doivent maintenir une expĂ©rience optimale pour leurs utilisateurs. L’ouverture d’accĂšs Ă  des modĂšles LLM amĂ©liorera l’efficacitĂ© et rĂ©duira la barriĂšre de la technologie complexe, favorisant ainsi un marchĂ© plus accessible et compĂ©titif.

Stratégie Marketing :
La FIDO aura pour stratégie marketing:

  1. Promouvoir les avantages d’une infrastructure performante grĂące Ă  l’utilisation de modĂšles LLM, en mettant en Ă©vidence des cas d’étude concrets et rĂ©alisĂ©s par des auto-hĂ©bergeurs membres.

  2. Organiser des confĂ©rences et webinaires Ă©ducatifs pour sensibiliser les entreprises Ă  l’importance de la collaboration open source.

  3. Utiliser le réseautage social et les plateformes dédiées aux développeurs pour engager les membres potentiels et susciter des partenariats stratégiques.

  4. CrĂ©er un portail d’information sur l’innovation LLM avec des articles, vidĂ©os et autres ressources pour attirer l’attention du public cible.

  5. Collaborer avec les leaders de la technologie pour gagner en visibilité et crédibilité.

Budget Projeté :
Le budget initial de la FIDO est estimé à environ 500 000 euros, répartis comme suit:

  • Infrastructure matĂ©rielle et informatique (30%)

  • Logiciels open source et licences LLM (20%)

  • Marketing et communication (15%)

  • Éducation et dĂ©veloppement des talents (10%)

  • Administratifs et gestion gĂ©nĂ©rale (10%)

  • R&D et projets pilotes (15%)

  • Contingency/autres dĂ©penses imprĂ©vues (10%)

Annonces de Membres :
La FIDO accueillera des auto-hébergeurs PC Gamer qui:

  • Acceptent l’utilisation d’une part commune et ouverte du code source LLM.

  • Sont engagĂ©s dans le dĂ©veloppement open source communautaire.

  • Mettent en Ɠuvre des pratiques Ă©thiques et transparentes liĂ©es Ă  la technologie AI.
    enas, nous avons une structure de gouvernance avec un conseil d’administration composĂ© de membres influents de l’industrie LLM, ainsi qu’une Ă©quipe technique dĂ©diĂ©e.

llama3 : Gamer Insights Foundation (GIF)

Here’s a detailed business plan for a foundation that brings together PC Gamer enthusiasts who receive funding from G1 to develop and implement processes using free Large Language Models (LLMs) like Phi3 (or others):

Foundation Name: Gamer Insights Foundation (GIF)

Mission Statement: The Gamer Insights Foundation aims to empower the PC Gamer community by fostering innovation, collaboration, and knowledge sharing through the development of free Large Language Models (LLMs). Our mission is to create a platform where gamers can contribute to and benefit from AI-powered insights that enhance their gaming experience.

Objectives:

  1. Community Building: Establish a strong online presence for PC Gamers who share a passion for AI, language models, and gaming.
  2. Funding Acquisition: Secure funding from G1 (or other organizations) to support the development of LLMs and related projects.
  3. Process Development: Develop and implement processes using free LLMs like Phi3 (or others) to create AI-powered insights for PC Gamers.
  4. Knowledge Sharing: Facilitate knowledge sharing among community members through blog posts, tutorials, and discussion forums.
  5. Community Engagement: Organize regular online events, workshops, and meetups to engage the community in LLM development and related topics.

Revenue Streams:

  1. Grants: Receive funding from G1 (or other organizations) for specific projects or initiatives that align with our mission.
  2. Sponsorships: Partner with gaming-related businesses to sponsor events, workshops, and online content creation.
  3. Membership Fees: Offer membership fees to community members who want to access premium content, exclusive events, or early access to new LLM developments.

Expenses:

  1. Staffing: Hire a part-time executive director, developer, and community manager to oversee foundation operations.
  2. Marketing: Allocate budget for online marketing campaigns, event promotions, and community outreach initiatives.
  3. Infrastructure: Support the development of LLMs by investing in cloud computing resources, server maintenance, and software licenses.
  4. Events: Organize workshops, meetups, and conferences to bring together community members and industry experts.

Timeline:

  1. Year 1: Establish the foundation, secure initial funding from G1, and develop a basic LLM prototype using Phi3 (or another model).
  2. Year 2-3: Continue developing and refining the LLM, while expanding community engagement through online events and workshops.
  3. Year 4-5: Scale up community outreach efforts, introduce premium content or membership options, and explore new revenue streams.

Key Performance Indicators (KPIs):

  1. Community Growth: Track the number of registered users, active participants, and engagement metrics (e.g., post views, comments).
  2. LLM Development: Monitor progress on LLM development, including model accuracy, training data quality, and computational resource utilization.
  3. Revenue Streams: Measure the performance of each revenue stream (grants, sponsorships, membership fees) against budget projections.

Risk Management:

  1. Intellectual Property: Protect the foundation’s intellectual property by using open-source LLMs and ensuring all community-developed content is licensed under a Creative Commons attribution-shareAlike 4.0 International license.
  2. Funding Uncertainty: Diversify funding sources to mitigate the risk of losing G1 funding or experiencing fluctuations in grant amounts.
  3. Community Engagement: Foster a strong sense of community by encouraging member participation, recognizing contributors, and hosting regular online events.

By focusing on building a strong foundation (pun intended!), we can create a thriving ecosystem where PC Gamers can come together to develop and utilize AI-powered insights that enhance their gaming experience.

mistral : Open Source Gaming Foundation (OSGF)

Title: Open Source Gaming Foundation (OSGF)

Executive Summary:
The Open Source Gaming Foundation (OSGF) is a non-profit organization dedicated to promoting the use of open-source technologies in the gaming industry, specifically focusing on Linux-based distributions and libre hardware like Raspberry Pi. With the support of key industry partners like G1, we aim to provide resources, infrastructure, and community engagement for PC gamers and auto-hosters to transition towards using free and open-source software.

Mission Statement:
Our mission is to foster an inclusive and collaborative environment for gaming enthusiasts, developers, and businesses alike by promoting the adoption of open-source technologies in the gaming industry. Through educational resources, community engagement, and partnerships, we aim to make the transition towards using open-source software a seamless process.

Business Description:
The OSGF is structured as a non-profit organization with a Board of Directors overseeing day-to-day operations. The organization will focus on three primary areas:

  1. Education and Resource Development: Providing tutorials, guides, and workshops to help gamers and auto-hosters understand the benefits and implementation process of using open-source software like Linux distributions and free hardware.
  2. Infrastructure Support: Building and maintaining a dedicated infrastructure for gaming servers and other related services that can be accessed by members of the community, ensuring a smooth and reliable gaming experience.
  3. Community Engagement: Cultivating a vibrant and diverse community by hosting events, creating online forums, and encouraging collaboration among developers, gamers, and industry professionals.

Revenue Model:
The OSGF will generate revenue through the following channels:

  1. Membership Fees: Individuals and organizations can become members of the foundation, gaining access to exclusive resources, discounts on events, and other benefits.
  2. Corporate Sponsorships: Companies in the gaming industry can partner with the OSGF, receiving marketing exposure and the opportunity to collaborate on projects.
  3. Donations: The public is invited to support the organization through monetary donations.
  4. Merchandise Sales: Branded merchandise, such as T-shirts, hats, and other gaming accessories, will be sold to raise funds for the foundation.

Marketing Strategy:

  1. Online Presence: Maintaining a strong online presence through social media channels, a website, and blogs to reach potential members and partners.
  2. Industry Events: Participating in major gaming events and conferences to network with industry professionals and showcase open-source solutions.
  3. Community Engagement: Building relationships with existing gaming communities and forums to create partnerships and collaborations.
  4. Public Relations: Utilizing press releases, media outreach, and other public relations tactics to generate buzz around the foundation and its initiatives.

Milestones:

  1. Q1 2023 - Launch website and social media channels
  2. Q2 2023 - Host first online workshop or webinar
  3. Q3 2023 - Establish partnerships with key industry players, including G1
  4. Q4 2023 - Begin building out infrastructure for gaming servers and other related services
  5. Q1 2024 - Launch first membership drive and community engagement initiatives
  6. Q2 2024 - Host first major event or conference
  7. Ongoing - Continuously develop educational resources, engage with the community, and seek out new partnerships and opportunities.

Faut faire attention en essayant de nouveaux modĂšles (les script kiddies sont lĂ )

@MatthieuLatapy ?

Il ne reste plus qu’à l’hĂ©berger sur ICP (Internet Computer Protocol) avec https://www.elna.ai/ pour un stockage dĂ©centralisĂ© des donnĂ©es.

Pourquoi donc?
en fait 
, nous pouvons faire la mĂȘme chose
 !

Il suffit de donner un portefeuille G1 et une adresse IPFS Ă  son ordi :wink:
Puis mettre au point le protocole de « contrĂŽle de wallet Â» appropriĂ© en programme (cf G1PalPay,)
Pour finir, on l’enregistrer dans IPFS pour en faire un code « smartcontract Â» qui s’exĂ©cute sur les machines faisant partie de l’essaim.

1 « J'aime »

Il ne reste plus qu’à expliquer tout ça en dĂ©tails pour diffuser tes connaissances, par exemple dans Learntocode

1 « J'aime »

Pour commencer, il faut « transmuter Â» sa clef SSH en clef IPFS et G1 comme dĂ©crit sur ce pad.

Cette action a pour effet de crĂ©er une toile de confiance entre les « stations IPFS Â» et ainsi de permettre le partage d’un secret (swarm.key) pour rendre privĂ©e les Ă©changes de l’essaim


Une fois la station Ă©quipĂ©e de son portefeuille, on y dĂ©clenche un programme qui surveille ce portefeuille et rĂ©alise les actions souhaitĂ©es en fonction du « montant, de la source et du commentaire Â» liĂ© Ă  la transaction.

En ce qui concerne « ICP (Internet Computer Protocol) Â», il suffit de dĂ©finir le format des commentaires et les programmes qui s’y rattachent


Je donne des cours et rĂ©alise des TP Ă  ceux qui veulent s’y mettre

2 « J'aime »

Ce serait interressant d’avoir un agent ELNA (ou astroport) qui absorbe toutes les connaissances concernant la monnaie libre et soit capable de rĂ©pondre aux questions des personnes qui s’interrogent sur la monnaie libre. Encore que Gemini ou Groq le font assez bien je suppose.
Nous pourrions mettre au point un set de questions pour tester le meilleur agent pour ses réponses concernant la monnaie libre.

1 « J'aime »

@poka pour hacker un LLM, essaye la technique « macaroni Â»

parfois le modÚle se met à se répéter


J’ai ajoutĂ© le modĂšle phi3-128k qui normalement peut prendre 128.000 tokens de contexte (~200 pages), Mais Il faudrait au moins 64Go (au lieu de 16+8) de mĂ©moire vive pour les exploiter au max


et [ gurubot / llama3-guru-uncensored non censurĂ©, mais il faut quand mĂȘme feinter